大数据随记 —— DataFrame 的创建与 Maven 配置

繁依Fanyi

发布于 2023-05-07 19:26:05

23300

代码可运行

文章被收录于专栏：繁依Fanyi 的专栏繁依Fanyi 的专栏

运行总次数：0

代码可运行

一、开发环境准备

在项目的 pom.xml 中添加 Maven 的依赖：

<!--Spark SQL 基础依赖-->
<dependency>  
  <groupId>org.apache.spark</groupId>  
  <artifactId>spark-sql_2.12</artifactId>  
  <version>3.3.0</version>  
</dependency>

<!--Spark SQL 操作 Hive 的依赖-->
<dependency>  
  <groupId>org.apache.spark</groupId>  
  <artifactId>spark-hive_2.12</artifactId>  
  <version>3.3.0</version>  
</dependency>

二、创建 DataFrame

Spark 应用程序使用 SQLContext，可以通过 RDD、Hive 表、JSON 格式数据创建 DataFrame。

基于 JSON 文件创建 DataFrame 示例

使用 spark.read.json() 方法即可通过读取 JSON 文件创建 DataFrame。

package sparksql  
  
import org.apache.spark.sql.SQLContext  
import org.apache.spark.{SparkConf, SparkContext}  
 
  
object DataFrameCreate {  
  
  def main(args: Array[String]): Unit = {  
    val sparkConf = new SparkConf().setMaster("local[2]").setAppName("DataFrameApp")  
    val sc = new SparkContext(sparkConf)  
    val sqlContext = new SQLContext(sc)  
  
    // 使用 SQLContext 将 JSON 文件转成 DataFrame    
    val df = sqlContext.read.json("resources/json/people.json")  
  
    df.show()  
    sc.stop()  
  }
}

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2022-09-01，如有侵权请联系 cloudcommunity@tencent.com 删除

maven