软件1801 (广州商学院)

  • 期末大作业

    大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 数据:us-counties美新冠数据.csv 字段:日期date、县country、州state、确诊人数cases、死亡人数deaths 数据量:158982 2.准备分析哪些问题?(8个以上) (1). 统计美国截止每日的累计确诊人数和
    小王子C   2021-06-07 19:11   0   44
  • 10 期末大作业

    补交第6次作业: 6.Spark SQL 及其DataFrame的基本操作 - 翔云cxx - 博客园 (cnblogs.com) 大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 选用kaggle提供的美国疫情数据 有五个字段:date county state cases deaths
    翔云cxx   2021-06-07 15:31   0   37
  • 10期末大作业

    RDD编程练习 - 兲乤 - 博客园 (cnblogs.com) 03RDD编程练习那天超时了忘记交作业了 大作业 1.选择使用数据,有什么字段,数据量。 选择使用美国疫情数据;有日期、县、州、确诊人数、死亡人数 2.准备分析哪些问题?(8个以上) (1). 统计美国截止每日的累计确诊人数和累计死亡
    兲乤   2021-06-07 01:53   0   20
  • 10 期末大作业

    一、.选择使用什么数据,有哪些字段,多大数据量。 us-counties美新冠数据;字段有日期(date),县(county), 国家、州(state),确诊情况(cases),死亡人数(deaths); 二、准备分析哪些问题?(8个以上) 1、统计美国每天的累计确诊病例和累计死亡病例 2、统计确诊
    牛逼赛亚人   2021-06-06 23:34   0   32
  • 09 spark连接mysql数据库

    1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/
    庄玉峰   2021-06-06 23:03   0   75
  • 07 从RDD创建DataFrame

    1.pandas df 与 spark df的相互转换 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素,列名=值 spark.createDataFrame生成df df.show(), df.printSchema() 3.2 使用编程方式定义RDD模式 生成“表头” fie
    庄玉峰   2021-06-06 22:59   0   12
  • 06 Spark SQL 及其DataFrame的基本操作

    一. 1.Spark SQL出现的 原因是什么? spark sql是从shark发展而来。Shark为了实现Hive兼容,在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑,可以近似认为仅将物理执行计划从MR作业替换成了Spark作业(辅以内存列式存储等各种和Hive关
    庄玉峰   2021-06-06 22:56   0   22
  • 05 RDD编程

    一、词频统计: 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 1.准备停用词文本: 2.去除停用词: 转换成键值对 map() 统计词频 reduceByKey() 按
    庄玉峰   2021-06-06 22:47   0   26
  • 10 期末大作业

    09 spark连接mysql数据库:(写好已经不能提交了) 1.选择使用什么数据,有哪些字段,多大数据量。 2.准备分析哪些问题?(8个以上) 美国每日的累计确诊病例数和死亡数 美国每日的新增确诊病例数 美国每日的新增死亡病例数 死亡人数最多的县 死亡病例为0的县有哪些 2020年3月14日的确诊
    026王渡   2021-06-06 22:47   0   22
  • 09 spark连接mysql数据库

    spark连接mysql数据库: 1.安装启动检查Mysql服务。 2.spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars netstat -tunl
    026王渡   2021-06-06 22:43   0   22