Spark - Java -在不使用Spark SQL数据帧的情况下创建Parquet/Avro
Spark是一个快速、通用的大数据处理框架，它提供了高效的数据处理能力和分布式计算能力。Java是一种广泛使用的编程语言，具有跨平台性和丰富的开发工具和库。Parquet和Avro是两种常用的数据存储格式。
在不使用Spark SQL数据帧的情况下，我们可以使用Spark的核心API来创建Parquet和Avro文件。
对于Parquet文件的创建，我们可以按照以下步骤进行：
- 导入必要的Spark类和包：
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.SaveMode;- 创建SparkConf对象并设置相关配置：
SparkConf conf = new SparkConf().setAppName("ParquetCreation").setMaster("local");- 创建JavaSparkContext对象：
JavaSparkContext sc = new JavaSparkContext(conf);- 创建一个包含数据的JavaRDD对象：
JavaRDD<String> data = sc.parallelize(Arrays.asList("data1", "data2", "data3"));- 将JavaRDD对象转换为DataFrame对象：
SparkSession spark = SparkSession.builder().config(conf).getOrCreate();
Dataset<Row> df = spark.createDataFrame(data, String.class);- 将DataFrame对象保存为Parquet文件：
df.write().mode(SaveMode.Append).parquet("path/to/parquet/file");对于Avro文件的创建，我们可以按照以下步骤进行：
- 导入必要的Spark类和包：
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.SaveMode;- 创建SparkConf对象并设置相关配置：
SparkConf conf = new SparkConf().setAppName("AvroCreation").setMaster("local");- 创建JavaSparkContext对象：
JavaSparkContext sc = new JavaSparkContext(conf);- 创建一个包含数据的JavaRDD对象：
JavaRDD<String> data = sc.parallelize(Arrays.asList("data1", "data2", "data3"));- 将JavaRDD对象转换为DataFrame对象：
SparkSession spark = SparkSession.builder().config(conf).getOrCreate();
Dataset<Row> df = spark.createDataFrame(data, String.class);- 将DataFrame对象保存为Avro文件：
df.write().mode(SaveMode.Append).format("com.databricks.spark.avro").save("path/to/avro/file");以上是使用Spark和Java创建Parquet和Avro文件的基本步骤。在实际应用中，可以根据具体需求进行参数配置和优化。
腾讯云提供了一系列与Spark相关的产品和服务，例如TencentDB for Apache Spark、Tencent Cloud Data Lake Analytics等，您可以通过访问腾讯云官方网站（https://cloud.tencent.com/）了解更多相关信息。
相关·内容
2回答
从星火列中获取星火列
、、、、
我对Scala还是新手，所以我一直在努力创建一个映射函数。Dataframe ()上的map函数，我一直在松散地跟踪的文章。函数希望接受列()，但是我在文档中看不到从Row获取列的方法。解析的记录被写入Delta表A，失败的记录被写入另一个Delta表B
编辑-在“坏记录”上返回null的from_avro
有一些评论说，如果from_
浏览 7提问于2021-04-09得票数 1
2回答
Spark2.0支持avro和parquet文件吗？什么版本？我下载了spark-avro_2.10-0.1.jar并在加载过程中得到了这个错误：Message: org.apache.spark.sql.sources.TableScan(ClassLoader.java:349)
at java.security.Se
浏览 8提问于2017-06-07得票数 0
回答已采纳
我比较存储avro数据到ORC和拼图格式，我得到了成功的存储Avro数据到镶木地板使用"com.twitter“% " Parquet - avro”% "1.6.0“，但找不到任何信息或API来存储avro数据在ORC格式。
浏览 0提问于2015-12-14得票数 1
2回答
我正在以火花数据集的形式加载一个拼花文件。我可以从查询中查询和创建新的数据集。现在，我想向dataset ("hashkey")添加一个新列并生成值(例如md5sum(nameValue))。");
SparkSession spark = SparkSession.builder().appName("JavaSpark</
浏览 3提问于2017-04-10得票数 1
回答已采纳
嗨，我正在spark上下文中读取拼图文件，然后合并各种拼图文件的模式。然后，我保存从read parquet函数返回的数据帧，并使用write.parquet命令保存。df.printSchema()这里的schemaObj是从AvroSchema转换而来的</em
浏览 1提问于2016-03-16得票数 1
我有一个行类型的RDD，即RDDRow和avro schema对象.I需要用这个信息创建一个数据帧。
为了创建DataFrame，我需要将avro schema对象转换为StructType。
浏览 5提问于2016-11-24得票数 8
1回答
我希望创建一个从卡夫卡消费的Avro消息一堆ORC文件。 我在下面看到了一些使用Spark的示例代码。我只是在一个独立的进程中运行它，并且想知道我应该考虑什么类型的选项。例如，我想将这些文件放入S3这样的云存储中。有没有推荐的方法呢？
浏览 43提问于2020-07-16得票数 0
我们使用的是Spark 2.4.3 (用户提供的Hadoop)，Scala 2.12，我们在运行时使用spark-shell加载Avro包： spark-shell --packages org.apache.spark在这两种情况下，当我们尝试将任何数据写入avro格式时，例如： df.write.format("avro").save(&q
浏览 107提问于2020-02-19得票数 0
回答已采纳
我想得到一个Spark应用程序的输出(我们只使用核心Spark，在该项目上工作的人不想将其更改为Spark SQL)作为Parquet或Avro文件。当我查找这两种文件类型时，我找不到任何没有DataFrames的示例，或者一般的Spark SQL。我可以在不使用SparkSQL的情况下实现这
浏览 3提问于2018-08-17得票数 0
1回答
我在Azure Synapse中有一个笔记本，它使用synapsesql函数将拼花文件读入数据帧，然后将数据帧内容推入SQL池中的一个表中。手动执行笔记本是成功的，并在Synapse池中创建和填充表。这里有什么问题？我在</e
浏览 1提问于2022-03-31得票数 0
= "s3://my-bucket/parquet-path/output.parquet"
由于某种原因，我在写拼花的时候得到了这个N
浏览 3提问于2016-11-07得票数 2
回答已采纳
Spark 2.4.0 on Java 1.8.0_161 (Scala2.11.12) 运行命令：spark-shell --jars=spark-avro_2.11-2.4.0.jar 目前正在使用小的阅读很好：val myAv = spark.read.format("avro").load("myAvFile.avro") 然而，当我尝试写回(甚至在进
浏览 108提问于2019-05-01得票数 0
1回答
我第一次使用火花放电。火花版本: 2.3.0卡夫卡版本: 2.2.0
我有一个卡夫卡生产者，它以avro格式发送嵌套数据，我正在尝试用火花流/结构化流写代码，这将反序列化从kafka到dataframe的avro，做转换，把它以拼花格式写成我能够在spark/scala中找到avro转换器，但是还没有增加对pyspark的支持。如何在火花放电中转换相同的内容。谢谢。
浏览 3提问于2019-05-02得票数 3
回答已采纳
1回答
下面是scala代码的摘录，该代码用于提取praquet文件并打印模式和来自Parquet文件的前几条记录。 dataStream.print ssc.awaitTermination()我也在尝试读取现有的文件谢谢,<dependency>
<groupId>org.scala-lang
浏览 0提问于2017-08-24得票数 1
1回答
我对pyspark编程比较陌生，因此正在寻找一种从数据库文件系统(dbfs)中读取一堆outlook (.msg)文件的方法。在执行下面的代码行时，我得到了一些垃圾unicode数据，如以下输出所示：输出：
[(u'dbfs:/..ufffd\ufffd\ufffd\ufffd\ufffd\ufffd\ufffd\ufffd\ufffd\ufffd\ufffd\ufff
浏览 0提问于2019-07-25得票数 0
5回答
我正在使用spark代码做这件事。at org.apache.spark.sql.sources.InsertIntoHadoopFsRelation.org$apache$spark$sql$sources$InsertIntoHadoopFsRelationorg.apache.spark.sql.parquet.ParquetOutputWriter.<init>(newParquet.scala:83)
a
浏览 4提问于2016-03-16得票数 8
1回答
我正面临一个问题，在这个问题中，我无法查看来自Hive的某些数据。重现问题的步骤。) stored as PARQUET; 然后创建一个具有新列的数据框并加载它们 import java.sql.Date
import然后，我们将创建另一个包含新列的数据帧 val df = spark
浏览 30提问于2019-12-21得票数 3
回答已采纳
我已经通过下面的火花参数在火花提交操作符在conf中，但是看起来这些参数在运行作业时不工作。' : '3120', 'spark.sql.inMemoryColumnarStorage.compressed'spark.shu
浏览 4提问于2019-11-27得票数 0
我正在使用pyspark的(Spark 2.3.2) saveAsTable，如下所示： .sortBy("id") \ .option("path", "test_table.parquet") \
.saveAsTable("test_table",
浏览 1提问于2019-10-10得票数 0
我正在寻找关于如何在星火中使用parquet.enable.dictionary的文档(最新的2.3.1)。在创建SparkSession时，可以将其设置为"true“或"false”。我在googled上搜索了关于这个特性的任何文档，但是没有发现，或者至少没有找到最近的任何文档。具体来说，以下是我的问题：
在Spark2.3.1中，默认情况下
浏览 1提问于2018-09-14得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
