首页 - 软件1801 - 广州商学院 - 班级博客

05 RDD编程

一、词频统计： 8.按字母顺序排序 sortBy(f) 9.按词频排序 sortByKey() 10.结果文件保存 saveAsTextFile(out_url) 二、学生课程分数案例总共有多少学生？map(), distinct(), count() 开设了多少门课程？每个学生选修了多少门课？

赶作业的YI点  2021-04-18 20:32  0  35

05 RDD编程

一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6. 转换成键值对 map() 读大学计算机系的成绩数据集生成RDD 分解出字段生成键值对 map() 7.统计词频 reduceByKe

儒雅随和的t君  2021-04-18 20:26  0  29

05 RDD编程

一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap( words=lines.flatMap(lambda line:line.spl

Ling3  2021-04-18 20:19  0  34

RDD编程

一、词频统计： 1.读文本文件生成RDD lines；将一行一行的文本分割成单词 words flatmap()；全部转换为小写 lower()；去掉长度小于3的单词 filter()；去掉停用词；转换成键值对 map()；统计词频 reduceByKey() 2.按字母顺序排序 sortByKey

亮皓的小老舔狗  2021-04-18 20:02  0  60

05 RDD编程

一、词频统计：读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序按词频排序 10、结果文件

不喜欢穿内裤  2021-04-18 19:51  0  29

RDD编程

一、词频统计 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排

赖泽梵  2021-04-18 19:41  0  43

05 RDD编程

8.按字母顺序排序 sortBy(f) 9.按词频排序 sortByKey() 10.结果文件保存 saveAsTextFile(out_url) 代码： lines = sc.textFile('file:///home/hadoop/chapter4-data01.txt') course_re

拿大刀的犬夜叉  2021-04-18 19:28  0  39

05

总共有多少学生？map(), distinct(), count() 开设了多少门课程？每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Leo选修了几门课？每门课多少分？filter(), map() RDD Le

杨嘉铭  2021-04-18 19:27  0  67

RDD编程

一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序

026王渡  2021-04-18 17:40  0  64

RDD编程

1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排序 sortB

今天中午恰什么  2021-04-18 17:07  0  62