-
10 期末大作业
数据集:美新冠数据集 字段: date county state cases deaths 数据量:158981 准备分析哪些问题? 1) 统计美国截止每日的累计确诊人数和累计死亡人数。 2) 统计美国每日的新增确诊人数和新增死亡人数。 3) 统计截止5.18日,美国各州的累计确诊人数和死亡人数。 -
10 期末大作业
一、.选择使用什么数据,有哪些字段,多大数据量。 us-counties美新冠数据;字段有日期(date),县(county), 国家、州(state),确诊情况(cases),死亡人数(deaths); 二、准备分析哪些问题?(8个以上) 1、统计美国某个县每天的确诊病例和死亡病例 2、统计美国确 -
10 期末大作业
1.选择使用什么数据,有哪些字段,多大数据量。 答:us-counties美新冠数据;字段:date,county,state,cases,deaths;数据量:158981条 2.准备分析哪些问题?(8个以上) 1.美国各州每日新增感染人数,各州每日新增死亡人数,各州每日新增治愈人数 2.美国各州 -
期末大作业
补一下之前的:08 学生课程分数的Spark SQL分析 - 亮皓的小老舔狗 - 博客园 (cnblogs.com) 07 从RDD创建DataFrame - 亮皓的小老舔狗 - 博客园 (cnblogs.com) Spark SQL 及其DataFrame的基本操作 - 亮皓的小老舔狗 - 博客园 -
10 期末大作业
一、.选择使用什么数据,有哪些字段,多大数据量。 us-counties美新冠数据;字段有日期(date),县(county), 国家、州(state),确诊情况(cases),死亡人数(deaths); 二、准备分析哪些问题?(8个以上) 1、统计美国某个县每天的确诊病例和死亡病例 2、统计美国确 -
期末大作业
数据集:美新冠数据集 字段: date county state cases deaths 数据量:158981 准备分析哪些问题? 1) 统计美国截止每日的累计确诊人数和累计死亡人数。 2) 统计美国每日的新增确诊人数和新增死亡人数。 3) 统计截止5.18日,美国各州的累计确诊人数和死亡人数。 -
08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于 -
06 spark SQL及其DataFrame的基本操作
1。尽管数据库的事务和查询机制较好胡满足胃各类商业公司胡业务数据管理需求,但关系数据库在大数据时代不能满足各类新增的用户需求,用户需要从不同胡数据源执行各种操作,用户需要执行高级分析,比如机器学习和图像处理,而spark sql的出现填补了这个鸿沟,spakr可以提供DataFrame API,可以 -
07 从RDD创建DataFrame
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E -
10 期末大作业
大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 答:us-counties美新冠数据;字段:date,county,state,cases,deaths;数据量:158981条 2.准备分析哪些问题?(8个以上) 1.计算每日的确诊病例数和死亡数 2.统计截止5.19日 美国各州的累计确诊