软件1801 (广州商学院)

  • 05 RDD编程

    一、词频统计: 1.读文本文件生成RDD lines;将一行一行的文本分割成单词 words flatmap();全部转换为小写 lower();去掉长度小于3的单词 filter();去掉停用词;转换成键值对 map();统计词频 reduceByKey() 2.按字母顺序排序 sortByKey
    少吃外卖   2021-04-18 16:56   0   119
  • 05 RDD编程

    一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序
    牛逼赛亚人   2021-04-18 16:19   0   40
  • 05 RDD编程

    一、词频统计: 1.读文本文件生成RDD lines lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) 2.将一行一行的文本分割成单词 words flatmap() words
    方大师   2021-04-18 15:44   0   115
  • 05 RDD编程

    一、词频统计: 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp
    zhangxiaofeng   2021-04-18 14:28   0   39
  • RDD编程

    1.读文本文件生成RDD lines lines=sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words words=lines.flatMap(lambda line:line.split()) 3.全部转换为小写 wor
    yy0102   2021-04-18 14:04   0   55
  • RDD编程

    一、词频统计: 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words = lines.flatMap(lambda line:line.
    小王子C   2021-04-18 13:43   0   80
  • RDD编程

    一、词频统计: 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 1.准备停用词文本: 2.去除停用词: 转换成键值对 map() 统计词频 reduceByKey() 按
    wwxtl   2021-04-18 13:20   0   57
  • 作业五:RDD编程

    05 RDD编程 一、词频统计: 1读文本文件生成RDD lines lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) 2将一行一行的文本分割成单词 words flatmap(
    叶利钦   2021-04-18 12:50   0   69
  • 05 RDD编程

    一、词频统计 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排
    钟爱国   2021-04-18 11:46   0   42
  • 大数据(二)作业五:RDD编程

    一、词频统计 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排
    阿丹biu   2021-04-18 09:40   0   70