软工1903- 班级所有博文发布时间分布（24小时制）：
-
7.Spark SQL
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了S -
补交作业5
一、词频统计 A. 分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 先输入import re 长度小于2的词filter() -
第七次作业（补交）
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 2. 简述RDD 和DataFrame的联系与区别。 3.DataFrame的创建与保存 3.1 PySpark-DataFrame创建： spark.read.text(url) spark.read.json(url) s -
8. SparkSQL综合作业
总共有多少学生？ 总共开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程>95分的学生人数 课程'Python'有多少个100分？ Tom不及格的课程数？ Tom的成绩按分数大小排序。 Tom选修了哪几门课？ Tom的平均分。 'OperatingSystem'不及格人 -
补实验2、4、7
2.安装Spark与Python练习（电脑未配置好环境漏交） 一、安装Spark 检查基础环境 下载spark 解压，文件夹重命名、权限 4.配置文件与环境变量 5.试运行Python代码 二、Python编程练习：英文文本的词频统计 准备文本文件 2、读文件、预处理、分词、统计每个单词出现的次数、 -
SparkSQL综合作业
19..每门课的选修人数、平均分、不及格人数、通过率 20.优秀、良好、通过和不合格各有多少人？ 21.同时选修了DataStructure和 DataBase 的学生 22.选修了DataStructure 但没有选修 DataBase 的学生 23.选修课程数少于3门的同学 24.选修6门及以上 -
作业7：Spark SQL
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因：为了替代Mapreduce，解决Mapreduce计算短板。 SparkSQL的起源与发展：Hadoop刚开始出来的时候，使用的是hadoop自带的分布式计算系统MapReduce，但是MapRed -
7.Spark SQL
补交缘由：不好意思老师，交实验七那段时间刚好要考软考，平时都在复习就把提交时间错过了，作业之前先做好了的但是这软考这段时间忘记提交了 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Fra -
7.Spark SQL
补交作业7 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark SQL的数据，不是使用Java对象的方式来进行存储，而是使用面向列的内存存储的方式来进行存储。每一列作为一个数据存储的单位。从而大大优化了内存使用的效率。采用了内存列存储之后，减少了对内存的消耗，也就避 -
补交作业6作业7
作业7补交 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 答：hive是shark的前身，shark是sparkSQL的前身，sparkSQL产生的根本原因是其完全脱离了hive的限制，hive是hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写