软工1904- 班级所有博文发布时间分布（24小时制）：
-
八.SparkSQL综合作业
综合练习：学生课程分数 网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 分别用DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生？ 总共开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程>95分的学生人数 课 -
8. SparkSQL综合作业
综合练习：学生课程分数 网盘下载sc.txt文件，分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 1、总共有多少学生？ 2、总共开设了多少门课程？ 3、每个学生选修了多少门课？ 4、每门课程有多少个学生选？ 5、每门课程>95分的学生人数 6、课程'Py -
第八次作业
网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 分别用DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 生成（姓名，课程分数）键值 -
8. SparkSQL综合作业
综合练习：学生课程分数 网盘下载sc.txt文件，分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 1. 总共有多少学生？ 2. 总共开设了多少门课程？ 3. 每个学生选修了多少门课？ 4. 每门课程有多少个学生选？ 5. 每门课程>95分的学生人数 6. -
7.Spark SQL
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了 -
7.Spark SQL
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark SQL 的前身是 Shark ，即"Hive on Spark"，由 Reynold Xin 主导开发。Spark SQL 抛弃原有 Shark 的架构方式，但汲取了 Shark 的一些优点，如内存列存储( In -
7.Spark SQL
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 1.1 SparkSQL出现的原因 SparkSQL出现是因为关系数据库已经不能满足各种在大数据时代新增的用户需求。首先，用户需要在不同的结构化和非结构化数据中执行各种操作。 其次，用户需要执行像机器学习和图像处理等等高级分 -
第七次作业
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL的前身是Shark,是用来给MapReduce的技术人员提供快速上手的工具。Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具，但MapReduce计算过程中大量的中间磁盘落地过程消耗了大 -
7.Spark SQL
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 随着 Spark 的不断发展， Shark 对 Hive 的重度依赖体现在架构上的瓶颈越来越突出。一方面， Hive 的语法解析和查询优化等模块本身针对的是 MapReduce ，限制了在 Spark 系统上的深度优化和维护 -
7.Spark SQL
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 随着 Spark 的不断发展， Shark 对 Hive 的重度依赖体现在架构上的瓶颈越来越突出。一方面， Hive 的语法解析和查询优化等模块本身针对的是 MapReduce ，限制了在 Spark 系统上的深度优化和维护