-
期末大作业
大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 数据:us-counties美新冠数据.csv 字段:日期date、县country、州state、确诊人数cases、死亡人数deaths 数据量:158982 2.准备分析哪些问题?(8个以上) (1). 统计美国截止每日的累计确诊人数和 -
10 期末大作业
补交第6次作业: 6.Spark SQL 及其DataFrame的基本操作 - 翔云cxx - 博客园 (cnblogs.com) 大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 选用kaggle提供的美国疫情数据 有五个字段:date county state cases deaths -
10期末大作业
RDD编程练习 - 兲乤 - 博客园 (cnblogs.com) 03RDD编程练习那天超时了忘记交作业了 大作业 1.选择使用数据,有什么字段,数据量。 选择使用美国疫情数据;有日期、县、州、确诊人数、死亡人数 2.准备分析哪些问题?(8个以上) (1). 统计美国截止每日的累计确诊人数和累计死亡 -
10 期末大作业
一、.选择使用什么数据,有哪些字段,多大数据量。 us-counties美新冠数据;字段有日期(date),县(county), 国家、州(state),确诊情况(cases),死亡人数(deaths); 二、准备分析哪些问题?(8个以上) 1、统计美国每天的累计确诊病例和累计死亡病例 2、统计确诊 -
09 spark连接mysql数据库
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ -
07 从RDD创建DataFrame
1.pandas df 与 spark df的相互转换 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素,列名=值 spark.createDataFrame生成df df.show(), df.printSchema() 3.2 使用编程方式定义RDD模式 生成“表头” fie -
06 Spark SQL 及其DataFrame的基本操作
一. 1.Spark SQL出现的 原因是什么? spark sql是从shark发展而来。Shark为了实现Hive兼容,在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑,可以近似认为仅将物理执行计划从MR作业替换成了Spark作业(辅以内存列式存储等各种和Hive关 -
05 RDD编程
一、词频统计: 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 1.准备停用词文本: 2.去除停用词: 转换成键值对 map() 统计词频 reduceByKey() 按 -
10 期末大作业
09 spark连接mysql数据库:(写好已经不能提交了) 1.选择使用什么数据,有哪些字段,多大数据量。 2.准备分析哪些问题?(8个以上) 美国每日的累计确诊病例数和死亡数 美国每日的新增确诊病例数 美国每日的新增死亡病例数 死亡人数最多的县 死亡病例为0的县有哪些 2020年3月14日的确诊 -
09 spark连接mysql数据库
spark连接mysql数据库: 1.安装启动检查Mysql服务。 2.spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars netstat -tunl