首页 - 软件1801 - 广州商学院 - 班级博客

05 RDD

一、词频统计：读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词转换成键值对 map() 统计词频 reduceByKey() 8.按字母顺序排序 sortBy(f) 9

不吃外卖  2021-04-22 20:00  0  40

05 RDD编程

一、词频统计：读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序按词频排序 10、结果文件

只吃外卖  2021-04-22 19:44  0  44

RDD编程

一、词频统计 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排

兲乤  2021-04-22 19:15  0  63

RDD编程

按字母顺序排序 sortBy(f) 按词频排序 sortByKey() 二、学生课程分数案例总共有多少学生？map(), distinct(), count() 开设了多少门课程？每个学生选修了多少门课？map().countByValue() //map(), countByKey() 每门课

嘁嘁嘁7  2021-04-21 22:46  0  33

05 RDD编程

一、词频统计：读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序 sortBy(f) 按词频

Fk020306  2021-04-21 22:04  0  30

2021/4/20学生课程分数案例

总共有多少学生？map(), distinct(), count() 开设了多少门课程？每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map() RDD To

牛哈哈呀  2021-04-20 22:52  0  54

5.RDD

总共有多少学生？map(), distinct(), count() .开设了多少门课程？每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map() RDD T

果宝机甲，归位！！！  2021-04-19 13:59  0  53

05RDD

读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序 sortBy(f) 按词频排序 sortB

杨振强  2021-04-19 13:39  0  51

05 RDD编程

一、词频统计：读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter()去掉停用词转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序 sortBy(f) 按词频排

吴铨兴  2021-04-19 13:14  0  43

05 RDD编程

按字母顺序排序 sortBy(f) 按词频排序 sortByKey() 二、学生课程分数案例总共有多少学生？map(), distinct(), count() 开设了多少门课程？每个学生选修了多少门课？map().countByValue() //map(), countByKey() 每门课

八号疯球  2021-04-19 12:21  0  41