我们首先想到的是直接使用count(disitnct amount) 的方式来完成，注意：在hive中支持count(distinct amount)over(...

目前gluten支持两种backend：clickhouse和velox，本文实践基于gluten与clickhouse组合方式。

窗口函数（Window functions）又称分析函数或开窗函数，它允许你在不改变原始行的情况下，对一组相关的行（称为“窗口”）进行计算和分析。与普通的聚合函...

Spark RDD通过persist方法或cache方法可以将计算结果的缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD才会被...

这种模式需要将spark-shell运行在本地模式上。下面的代码使用了本地目录作为RDD检查点的目录

Spark RDD彼此之间会存在一定的依赖关系。依赖关系有两种不同的类型：窄依赖和宽依赖。

给定一组账户，每个账户有一个名称和一组电子邮件地址。电子邮件地址可能会在多个账户中重复出现。如果两个账户有相同的电子邮件地址，则认为这两个账户属于同一用户。请将...

要求实验结束时，每位学生能正确运行成功本实验中所写的 jar 包程序，能正确的计算出单词数目。

能够理解 Spark 存在的原因，了解 Spark 的生态圈，理解 Spark 体系架构并理解 Spark 计算模型。学会部署 Spark 集群并启动 Spar...

1、通过实验掌握基本的MLLib编程方法； 2、掌握用MLLib解决一些常见的数据分析问题，包括数据导入、成分分析和分类和预测等。

1、通过实验掌握Structured Streaming的基本编程方法； 2、掌握日志分析的常规操作，包括拆分日志方法和分析场景。

机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。

继续在流计算端的sparkstreaming目录下创建一个socket目录，然后在该目录下创建一个NetworkWordCount.py程序：

很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。技术人员可以利用数据挖掘和OLAP（On-Line Analy...

1、通过实验掌握Spark SQL的基本编程方法； 2、熟悉RDD到DataFrame的转化方法； 3、熟悉利用Spark SQL管理来自不同数据源的数据。

spark.read.format("text").load("people.txt")：读取文本文件people.json创建DataFrame。 spark...

1、熟悉Spark的RDD基本操作及键值对操作； 2、熟悉使用RDD编程解决实际具体问题的方法。

1、掌握在Linux虚拟机中安装Hadoop和Spark的方法； 2、熟悉HDFS的基本使用方法； 3、掌握使用Spark访问本地文件和HDFS文件的方法。

安装Spark之前需要安装Linux系统、Java环境（Java8或JDK1.8以上版本）和Hadoop环境。

Spark是一种基于内存的、用以实现高效集群计算的平台。准确地讲，Spark是一个大数据并行计算框架，是对广泛使用的MapReduce计算模型的...