软工1904 (广州商学院)

  • 班级所有博文发布时间分布(24小时制):
  • 8. SparkSQL综合作业

    8. SparkSQL综合作业 综合练习:学生课程分数 网盘下载sc.txt文件,分别创建RDD、DataFrame和临时表/视图; 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生? 总共开设了多少门课程? 每个学生选修了多少门课? 每门
    甘琳   2022-06-07 21:44   0   25
  • 补交作业7,补交原因:时间过了,忘记提交

    1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 如今关系数据库已经非常流行,关系数据库在大数据时代已然不能满足要求。首先,用户需要从不同数据源执行各种操作,包括结构化、半结构化和非结构化数据。其次,用户需要执行高级分析,例如机器学习和图像处理。在实际大数据应用中,经常需要
    Orlando_Chan   2022-06-07 18:33   0   6
  • 2.安装spark,7.Spark SQL

    2.安装spark 一、安装Spark 1.检查基础环境 启动hdfs查看进程 查看hadoop和jdk环境 2.下载spark 3.配置环境变量 4.启动spark 5.试运行python代码 7.Spark SQL 1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 因为
    热心网友小鹏   2022-06-06 22:52   0   51
  • 补交 第6次作业

    未交原因:忘记了时间,错过了 第六次 集合运算练习 内连接与外连接 网盘下载sc.txt文件,通过RDD操作实现以下数据分析: 持久化 总共有多少学生? 开设了多少门课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 有多少个100分? Tom选修了几门课?每门课多少分? Tom选修了几门课
    Menway   2022-06-06 18:53   0   8
  • (补交)7.Spark SQL

    1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL的出现,解决了对不同数据源和不同数据的操作,例如结构化和非结构化数据。还有可以支持融合关系查询和复杂分析算法。 SparkSQL的前身是Shark,Shark中提供了类似于Hive的功能。但是Shark设计中
    yybooker   2022-06-06 14:05   0   10
  • 7.Spark SQL

    未交原因:忘记交了 1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 spark出现的目的是为了替代Mapreduce,解决Mapreduce计算短板。我们知道最初的计算框架叫 mapreduce,他的缺点是计算速度慢,还有一个就是代码比较麻烦,所以有了 hive;hive
    YUTOU_34   2022-06-06 11:50   0   11
  • 7.Spark SQL

    1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 因为关系数据库已经很流行,而且关系数据库在大数据时代已经不能满足要求。首先,用户需要从不同数据源执行各种操作,包括结构化、半结构化和非结构化数据。其次,用户需要执行高级分析,比如机器学习和图像处理。在实际大数据应用中,经常需
    sunny_LF   2022-06-05 23:06   0   6
  • 补交作业

    共补交2,4,5,6,7的作业 原因:之前没注意交作业的时间不小心错过了 作业2:安装Sprk与Python练习 一、安装Spark 1.检查基础环境hadoop, 2.下载spark 3.解压,文件夹重命名、权限 4.配置文件 5.环境变量 6.试运行Python代码 二、Python编程练习:英
    蓝晓群   2022-06-05 22:08   0   8
  • 安装Spark与Python练习

    一、安装Spark 1.检查基础环境hadoop,jdk 2.下载spark 3.解压,文件夹重命名、权限 4.配置文件 5.环境变量 6.试运行Python代码 二、Python编程练习:英文文本的词频统计 1.准备文本文件 2.读文件,预处理:大小写,标点符号,停用词,分词,统计每个单词出现的次
    塞纳河没有冰期   2022-06-05 21:31   0   11
  • 作业5 6 7 8 补交原因:忘记交了

    作业5 一、词频统计 A. 分步骤实现 准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 读文件创建RDD 分词 排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filter(),
    林贵源   2022-06-04 21:27   0   14