软工1902- 班级所有博文发布时间分布（24小时制）：
-
2、安装Spark与Python练习 6.RDD综合练习：更丰富的操作
一、安装Spark 1、检查基础环境hadoop、jdk 2、下载Spark（略） 3、解压、文件夹重命名、权限（略） 4、配置文件 5、环境变量 6、试运行Python代码 二、Python编程练习：英文文本的词频统计 1、准备文本 2、编写代码 3、运行结果 6.RDD练习 集合运算练习 uni -
4.RDD操作4.RDD操作
4.RDD操作 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 2.1启动hdfs 2.2上传文件 2.3查看文件 2.4加载 2.5停止hdfs 3.通过并行集合（列表）创建RDD 3.1输入列表 3.2字符串 3.3numpy生成数组 二、 RDD操作 -
8. SparkSQL综合作业
## 综合练习：学生课程分数 网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 分别用**RDD操作**、**DataFrame操作**和**spark.sql执行SQL语句**实现以下数据分析： ## 预处理 （1）RDD：生成RDD ```shellsc_stu = sc.t -
6. RDD综合练习：更丰富的操作
网盘下载sc.txt文件，通过RDD操作实现以下数据分析:一、集合运算练习 1.union()，intersection()，subtract(), cartesian() 二、内连接与外连接 1.join(), leftOuterJoin(), rightOuterJoin(), fullOute -
8. SparkSQL综合作业
网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 分别用DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生？ 开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程>95分的学生人数 有多少个100分？ Tom选修 -
5.RDD操作综合实例
A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 分词 排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 长度小于2的词filter() 统计词频 按词频 -
7.Spark SQL
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因 hive是shark的前身，shark是sparkSQL的前身，sparkSQL产生的根本原因是其完全脱离了hive的限制，hive是hive SQL转换成MapReduce然后提交到集群上执行，大 -
5.RDD操作综合实例
一、词频统计 A. 分步骤实现 1、准备文件 下载小说或长篇新闻稿 上传到hdfs上 2、读文件创建RDD 3、分词 4、排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， -
SparkSQL综合作业
综合练习：学生课程分数 网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图； 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 1.总共有多少学生？ 2.总共开设了多少门课程？ 3.每个学生选修了多少门课？ 4.每门课程有多少个学生 -
8. SparkSQL综合作业
## 综合练习：学生课程分数 网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 分别用**RDD操作**、**DataFrame操作**和**spark.sql执行SQL语句**实现以下数据分析： ## 预处理 （1）RDD：生成RDD ```shellsc_stu = sc.t