将spark数据集保存到现有csv文件
将Spark数据集保存到现有CSV文件可以通过以下步骤实现：
- 导入必要的库和模块：
from pyspark.sql import SparkSession- 创建SparkSession对象：
spark = SparkSession.builder.appName("Save to CSV").getOrCreate()- 加载CSV文件为Spark数据集：
df = spark.read.csv("existing_file.csv", header=True, inferSchema=True)其中，"existing_file.csv"是现有的CSV文件路径，header=True表示CSV文件包含列名，inferSchema=True表示自动推断列的数据类型。
- 创建新的数据集并将其保存为CSV文件：
new_df = df.union(new_data) # 假设new_data是要添加的新数据集
new_df.write.csv("existing_file.csv", mode="overwrite", header=True)这里使用了union操作将新数据集与现有数据集合并，然后使用write.csv方法将合并后的数据集保存回原始的CSV文件中。mode="overwrite"表示如果文件已存在，则覆盖原文件，header=True表示保存时包含列名。
注意：在保存CSV文件时，Spark会将数据分成多个文件并以分区方式保存。如果需要将数据保存为单个CSV文件，可以使用coalesce方法将分区合并为一个分区，然后再保存。
推荐的腾讯云相关产品：腾讯云云服务器（CVM）、腾讯云对象存储（COS）。
腾讯云云服务器（CVM）产品介绍链接：https://cloud.tencent.com/product/cvm
腾讯云对象存储（COS）产品介绍链接：https://cloud.tencent.com/product/cos
相关·内容
我正在尝试使用以下命令将数据集内容保存到csv .write() .mode("append")我的目标是不断将数据集的结果附加到trial.csv文件中。但是，它会创建一个名为tri
浏览 19提问于2020-05-26得票数 4
我们有一个文件，我们想要分成3个，在导入到Hana Vora之前，我们需要对它进行一些数据清理-否则一切都必须以字符串的形式输入，这是不理想的。我们可以很好地在spark中导入和准备DataFrames，但是当我尝试写入HDFS文件系统或者更好地将其保存为"com.sap.spark.vora“数据源中的一个表时，我得到了错误。有人能建议一种可靠的方法将spark准备的数据集导入Hana Vora吗？谢谢!
浏览 0提问于2016-10-17得票数 0
1回答
在下面的代码中，out.csv是parquet格式的。对于它作为csv文件写入它，我没有什么选择？StringTypedf_groupe
浏览 0提问于2017-06-29得票数 1
回答已采纳
为此，我定义了以下代码： writer = csv.writer(csv_file, delimiter='\t'csv_file.flush() 1.joinDesrdd_df.rdd.getNumPartitions()):
File "/cvmfs/soft.computecanada.ca/easyb
浏览 20提问于2019-07-23得票数 7
当代码在Zeppelin notebook上运行时，它会返回输出，我认为输出会保存为Amazon EMR集群上的单个文件，如下所示： %pyspark df_new
df_new.write.option("header", "true").mode("overwrite&qu
浏览 31提问于2021-04-16得票数 0
回答已采纳
我正在使用PyCharm和PySpark运行一个巨大的文本文件。这就是我想要做的：os.environ["SPARK_HOME"] = "C:\spark-2.3.0-csv").option("inferSchema","true").option("header",&q
浏览 2提问于2018-06-08得票数 1
我是Spark新手。我正尝试在本地模式(windows)下使用spark java将csv文件保存为parquet。我得到了这个错误。原因: org.apache.spark.SparkException:写入行时任务失败我仍然会得到这个错误。我只使用了csv中的两个列来进行测试，但仍然
浏览 20提问于2017-08-28得票数 0
1回答
我正在尝试使用sparklyr加载一个包含一百万行和1000列的数据集。我在工作中的一个非常大的集群上运行Spark。尽管如此，数据的规模似乎太大了。我尝试了两种不同的方法：1) -将路径放入hdfs - spark_read_csv(spark_context，.csv )
2) -将csv</em
浏览 2提问于2017-05-30得票数 0
我正在学习MS azure中的Databricks，并被赋予了完成一项任务的4个步骤：
将csv文件(自己标识相关数据集)上载到dbfs中，在databricks中执行数据集上的一些基本转换活动，最后将输出保存到数据块的有人能分享在数据库工作中需要做的事情的顺序吗？
浏览 3提问于2020-07-23得票数 1
1回答
我使用以下命令将数据框导出到C:/temp： c5.toPandas().to_csv("C:/temp/colspark.csv") 但我得到以下错误： <ipython-input-4-2c57938dba1e> in <module>
S:\tdv\ab\e
浏览 28提问于2019-10-03得票数 1
回答已采纳
1回答
我有一个数据框，我使用数据框上的保存功能，用databricks.spark.csv将它保存到csv文件中。如何知道spark创建了多少文件(Spark会自动划分文件)
浏览 5提问于2016-08-29得票数 1
2回答
我正在使用Spark2.3，我需要将一个保存到一个csv文件中，我正在寻找一种更好的方法来实现它。使用文件I/O直接写入csv是更好的方式吗？它能保护分离器吗？使用df.coalesce(1).write.option("header", "true").csv('mycsv.csv')将导致在每个文件中写入标头，当文件合并时，头
浏览 2提问于2018-06-06得票数 1
1回答
下面的代码生成预期的输出，但默认文件名长度约为100个字符。我希望能够给输出一个合理的名称，并添加一个日期/时间来创建唯一性，类似于testfile20191001142340.csv。我到处寻找，但找不到任何有帮助的东西，希望社区里有人能给我指路try: print
浏览 0提问于2019-10-01得票数 0
我运行以下命令来尝试将其保存到本地： write.}_SUCCESS ._SUCCESS.crc
如何让DataFrame正确保存文件？如果它很重要，我也是通过Jupyter Notebook来实
浏览 0提问于2016-07-07得票数 1
我在Microsoft 7上使用spark 2.2 version。我希望在一个变量中加载csv文件，以便稍后执行与SQL相关的操作，但无法这样做。我引用了链接中接受的答案，但没有用。下面是创建SparkContext对象和SQLContext对象的步骤：import org.apache.spark.SparkConfval sc=SparkContext.getOrCreate() // Creatin
浏览 4提问于2017-12-25得票数 2
回答已采纳
1回答
Note -我已经引用了，但是虽然数据是不嵌套的，但我无法将数据转换为csv文件格式。Introduction
R代码是通过使用Sparklyr包来创建数据库模式来编写的。给出了可复制的代码和数据库。现有
浏览 0提问于2018-10-06得票数 4
1回答
我试图使用com.databricks.spark.csv包将一个文件保存到hdfs，但是它没有引用我的数据，尽管我定义了它。
我做错什么了？df.write.format('com.databricks.spark.csv').mode('overwrite').option("header", "false").option("quote",&quo
浏览 0提问于2017-11-28得票数 0
我开始使用spark，通常在从云中加载数据时，我会看到以下代码我的问题如下:这里我们似乎有两个数据集:一个是com.da
浏览 0提问于2017-03-06得票数 0
我想调用一个API来丰富现有的数据集。现在，我想创建一个节点，它用来自API的数据丰富CSVDataSet，我必须对CSV文件中的每一行进行调用。然后将数据保存到数据库(SQLTableDataSet)中。我的方法是在目录中创建一个条目，并将其作为CSVDataSet旁边节点的输入。对于csv<e
浏览 12提问于2022-08-20得票数 0
我需要读取具有多个列的csv文件，并使用Apache spark java api将其保存到多个表中。如果有人能帮上忙请帮帮忙。
浏览 4提问于2021-09-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
