软件1801-
期末大作业
大作业： 1.选择使用什么数据，有哪些字段，多大数据量。 数据：us-counties美新冠数据.csv 字段：日期date、县country、州state、确诊人数cases、死亡人数deaths 数据量：158982 2.准备分析哪些问题？（8个以上） (1). 统计美国截止每日的累计确诊人数和 -
10 期末大作业
补交第6次作业： 6.Spark SQL 及其DataFrame的基本操作 - 翔云cxx - 博客园 (cnblogs.com) 大作业： 1.选择使用什么数据，有哪些字段，多大数据量。 选用kaggle提供的美国疫情数据 有五个字段：date county state cases deaths -
10期末大作业
RDD编程练习 - 兲乤 - 博客园 (cnblogs.com) 03RDD编程练习那天超时了忘记交作业了 大作业 1.选择使用数据，有什么字段，数据量。 选择使用美国疫情数据；有日期、县、州、确诊人数、死亡人数 2.准备分析哪些问题？（8个以上） (1). 统计美国截止每日的累计确诊人数和累计死亡 -
10 期末大作业
一、.选择使用什么数据，有哪些字段，多大数据量。 us-counties美新冠数据；字段有日期（date），县（county）， 国家、州（state），确诊情况（cases），死亡人数（deaths）； 二、准备分析哪些问题？（8个以上） 1、统计美国每天的累计确诊病例和累计死亡病例 2、统计确诊 -
09 spark连接mysql数据库
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ -
07 从RDD创建DataFrame
1.pandas df 与 spark df的相互转换 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素，列名=值 spark.createDataFrame生成df df.show(), df.printSchema() 3.2 使用编程方式定义RDD模式 生成“表头” fie -
06 Spark SQL 及其DataFrame的基本操作
一. 1.Spark SQL出现的 原因是什么? spark sql是从shark发展而来。Shark为了实现Hive兼容，在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业（辅以内存列式存储等各种和Hive关 -
05 RDD编程
一、词频统计： 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 1.准备停用词文本： 2.去除停用词： 转换成键值对 map() 统计词频 reduceByKey() 按 -
10 期末大作业
09 spark连接mysql数据库：（写好已经不能提交了） 1.选择使用什么数据，有哪些字段，多大数据量。 2.准备分析哪些问题？（8个以上） 美国每日的累计确诊病例数和死亡数 美国每日的新增确诊病例数 美国每日的新增死亡病例数 死亡人数最多的县 死亡病例为0的县有哪些 2020年3月14日的确诊 -
09 spark连接mysql数据库
spark连接mysql数据库: 1.安装启动检查Mysql服务。 2.spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars netstat -tunl