使用pyspark to pyspark dataframe从s3位置读取拼图文件的文件夹
Pyspark是一种用于在分布式计算环境中进行大规模数据处理和分析的Python库。它提供了丰富的功能和API，方便开发人员对数据进行转换、处理和分析。Pyspark可以与各种数据源进行交互，包括云存储服务如Amazon S3。
S3是亚马逊云服务提供的对象存储服务，适用于存储和检索大量非结构化数据。使用Pyspark从S3位置读取拼图文件的文件夹，可以按照以下步骤进行操作：
- 导入必要的库和模块：
from pyspark.sql import SparkSession- 创建SparkSession对象：
spark = SparkSession.builder \
.appName("Read Puzzles from S3") \
.getOrCreate()- 使用SparkSession对象读取S3上的文件夹：
df = spark.read.format("image").load("s3a://your_bucket/your_folder")其中，your_bucket是您的S3存储桶名称，your_folder是您的拼图文件夹路径。
- 对读取的数据进行进一步的处理和分析。
注意：以上代码中使用了image数据格式，这是一个示例，实际上需要根据您的数据类型来选择合适的数据格式，如csv、parquet等。
推荐的腾讯云相关产品：
- 腾讯云对象存储（COS）：提供稳定可靠、安全高效的云端存储服务，可用于存储和管理大量非结构化数据。
- 腾讯云大数据Spark：基于Apache Spark的大数据处理和分析服务，支持Python等编程语言，提供分布式计算能力。
请注意，以上仅是腾讯云的产品示例，如果您有其他云计算服务商的偏好，可以参考相应的文档和产品介绍。
相关·内容
2回答
我正在将数据写入s3存储桶，并使用pyspark创建拼图文件。我的存储桶结构如下：
s3a://rootfolder/subfolder/table/
子文件夹和表如果文件夹不存在，这两个文件夹应该在运行时创建，如果文件夹存在，拼图文件应该在文件夹表中。
当我在本地机器上运行pyspark程序时，它会用_$folder$ (如table_$folder$ )创建额外的文件夹，但如果从emr运行相同的程序，它就会用_SUCCESS创建。
writing into s3: (pyspark program)
data.write.parquet("s3a://rootfolder/sub
浏览 2提问于2020-12-03得票数 0
1回答
我有一个关于雪花的新功能-Infer模式表函数的问题。推断模式函数在拼图文件上执行得非常好，并返回正确的数据类型。但是，当对拼图文件进行分区并将其存储在S3中时，推断模式的功能与pyspark数据帧不同。
在DataFrames中，分区文件夹名和值被读取为最后一列；在Snowflake推断模式中，有没有办法实现同样的结果？
示例：
@GregPavlik -输入为结构化拼图格式。当地块文件存储在没有分区的S3中时，模式是完全派生出来的。
示例：{ "AGMT_GID"：1714844883，"AGMT_TRANS_GID"：640481290，"
浏览 0提问于2021-10-21得票数 5
我正在尝试创建AWS Glue ETL Job，将数据从存储在S3中的拼图文件加载到红移表中。拼图文件是使用带有‘简单’文件模式选项的pandas编写到一个S3 bucked中的多个文件夹中的。布局如下所示：
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_table/01/file_2.parket
S3://bucket/parquet_table/01/file_3.parket
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_tab
浏览 1提问于2017-11-14得票数 3
我有一个按日期分区的S3存储桶列表。第一个存储桶标题为2019-12-1，第二个存储桶标题为2019-12-2，依此类推。 这些存储桶中的每一个都存储我正在读取到pyspark dataframe中的拼图文件。从每个存储桶生成的pyspark dataframe具有完全相同的模式。我想要做的是迭代这些存储桶，并将所有这些拼图文件存储到一个单独的pyspark dataframe中，该数据框有一个date列，表示dataframe中的每个条目实际来自哪个存储桶。 因为单独导入每个存储桶时生成的数据帧的模式是多层的(即每一行都包含结构数组的结构等)，所以我认为将所有存储桶合并到一个数据帧中的唯一
浏览 13提问于2019-12-16得票数 0
回答已采纳
在使用Python 3.6的Amazon EMR集群(1个主服务器，2个节点)上运行Spark 2.4.2
我正在读取亚马逊s3中的对象，以拼图格式压缩它们，并将它们添加(附加)到现有的拼图数据存储中。当我在pyspark shell中运行我的代码时，我能够读取/压缩对象并将新的拼图文件添加到现有的拼图文件中，并且，当我对拼图数据运行查询时，它显示所有数据都在拼图文件夹中。但是，当我在EMR集群上的某个步骤中运行代码时，现有的拼图文件会被新文件覆盖。相同的查询将显示只有新数据在那里，而包含地块数据的s3文件夹只有新数据。
以下是该步骤的关键代码：
spark = SparkSessio
浏览 17提问于2019-07-10得票数 1
回答已采纳
我有一个存储.gz文件(json格式)的S3存储桶。每小时将有更多的文件发送到此存储桶。我想使用Glue增量地(每天)从S3存储桶中读取数据，将.gz转换为拼接，然后写回另一个S3存储桶。 我想我可以使用Glue书签来完成增量文件的读取/转换/写入。然而，我发现如果我读取spark dataframe中的.gz文件，书签就不起作用了。换句话说，我的下面的胶水作业不会以增量方式读取文件。它读取该存储桶中的所有文件。我确实在胶水作业中启用了Bookmark。 我错过了什么吗？是否需要通过glue动态数据帧而不是spark数据帧读取文件？ 我实际上不知道如何通过glue动态数据帧正确读取.gz文件
浏览 24提问于2020-12-30得票数 1
我在一台jupyter笔记本上使用python和pyspark。我正在尝试从亚马逊网络服务的s3存储桶中读取几个拼图文件，并将它们转换为单个json文件。
这就是我所拥有的：
from functools import reduce
from pyspark.sql import DataFrame
bucket = s3.Bucket(name='mybucket')
keys =[]
for key in bucket.objects.all():
keys.append(key.key)
print(keys[0])
from pyspark.s
浏览 3提问于2020-07-18得票数 1
1回答
我需要捕获作为df.write.parquet("s3://bkt/folder", mode="append")命令的结果创建的拼图文件。 我在AWS EMR pyspark上运行这个。 我可以使用awswrangler和wr.s3.to_parquet()来实现这一点，但这并不真正适合我的EMR spark用例。 有这样的功能吗？ 我想要s3://bkt/文件夹中spark写入的文件列表 Thx全部
浏览 16提问于2021-05-05得票数 0
1回答
我有一些分区的hive表，它们指向拼图文件。现在我为每个分区都有很多小的拼图文件，每个文件的大小都在5kb左右，我想把这些小文件合并成每个分区的一个大文件。我如何才能做到这一点，以提高我的蜂巢性能？我已经尝试将分区中的所有拼图文件读取到pyspark dataframe，并将组合后的dataframe重写到相同的分区，并删除旧的。但由于某些原因，这对我来说似乎是低效的或初学者级别的类型。这样做的利弊是什么？而且，如果有任何其他方法，请指导我实现它的火花或火种。
浏览 5提问于2018-08-16得票数 0
回答已采纳
1回答
我在谷歌云存储上有一个文件夹，里面有几个拼图文件。我安装在我的VM pyspark中，现在我想读取拼图文件。下面是我的代码： from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.config("spark.driver.maxResultSize", "40g") \
.config('spark.sql.shuffle.partitions', '2001') \
.conf
浏览 26提问于2019-12-11得票数 0
我正在尝试使用DataFrameWriter在Spark1.4的pyspark中保存一个DataFrame到S3
df = sqlContext.read.format("json").load("s3a://somefile")
df_writer = pyspark.sql.DataFrameWriter(df)
df_writer.partitionBy('col1')\
.saveAsTable('test_table', format='parquet', mode='overw
浏览 0提问于2015-06-17得票数 14
回答已采纳
1回答
我正试图使用Databricks DataFrame包和，从EMR集群上的S3上的CSV源创建一个
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('s3n://h2o-airlines-unpacked/allyears.csv')
df.first()
这不会在4m3.xlarge的集群上终止。我
浏览 0提问于2015-08-28得票数 3
1回答
我是Spark的新手，但我正在尽可能多地阅读。我有一个小项目，其中多个数据文件(在gzip中)将每小时连续地放在一个S3存储桶中。我需要能够打开/读取这些gzip文件，并在它们之间合并/聚合数据。因此，我需要以整体的方式来看待它们。如何使用Amazon AWS提供的哪些技术和工具？我是在S3文件夹中创建临时文件，还是在内存中保留数据帧，或者使用某个数据库并在每小时后清除数据？所以，我寻找的不仅仅是一段代码，而是一些想法。
到目前为止，在亚马逊网络服务中，我已经编写了一个pyspark脚本，它一次读取一个文件，并在output S3文件夹中创建一个输出文件。但这给我留下了每个小时的多个输出文件。
浏览 0提问于2020-01-23得票数 0
我正在从pyspark中的s3存储桶中读取镶木地板文件。有一些地块文件具有不同的模式，这会导致作业错误。我想通过预定义的模式和火花作业应该只读取与预定义的scehma匹配的文件。 data = spark.read.parquet(*path_list) 上面的parquet spark read命令是批量读取文件。如何能够只读取传递预定义模式的拼图文件，并且只读取那些与所传递的模式匹配的拼图文件。限制是我需要通过批量加载来实现这一点，这意味着要将文件列表( path_list )传递给spark read parquet命令。
浏览 21提问于2021-01-12得票数 2
我每15分钟运行一次AWS Glue ETL Job，每次在S3中生成1个拼图文件。 我需要创建另一个作业来运行每小时结束，以合并所有4个拼图文件在S3到一个单一的拼图文件使用AWS胶水ETL pyspark代码。 有人试过吗？建议和最佳实践？ 提前感谢！
浏览 12提问于2020-03-24得票数 1
这是一个从AWS Glue与PySpark在S3中生成的输出拼图文件，我们希望给出一个特定的名称，如abcd.parquet，而不是自动生成的字符。任何帮助都是最好的。谢谢！Image
浏览 17提问于2021-09-02得票数 0
回答已采纳
2回答
我想要加载存储在S3 AWS文件夹结构中的所有拼图文件。
文件夹结构如下：<code>D0</code>
我想要的是一次读取所有的拼图文件，所以我希望PySpark读取2019年所有可用的月份和日期的所有数据，然后将其存储在一个数据帧中(这样您就可以获得一个包含2019年所有日期的连接/联合数据帧)。
我被告知这些是分区的文件(虽然我不确定这一点)。
这在PySpark中是可能的吗?如果是的话，是如何实现的？
当我尝试<code>D1</code>时，它起作用了。但是，当我想使用<code>D2</code>查看Spark
浏览 70提问于2019-12-04得票数 0
我可以从本地的AWS S3存储桶下载拼图文件，然后从中读取(参见下面的代码)。但是，有没有什么方法可以直接从S3读取拼图文件，而不需要存储在本地？ save_object("Financial_Sample.parquet", file = "Financial_Sample.parquet", bucket = 'my-bucket')
df <- read_parquet("Financial_Sample.parquet")```
浏览 23提问于2020-06-29得票数 1
因此，我对AWS、S3、pyspark和linux都很陌生。我不知道从哪里开始。以下是我的问题：
在linux中，我可以发出以下命令，并可以在文件夹中看到文件：
aws s3 ls 's3://datastore/L2/parquet'
使用python做类似的事情不起作用。
import os
os.listdir('s3://datastore/L2/parquet')
它会产生错误：
Traceback (most recent call last):
File "<stdin>", line 1, in <modul
浏览 1提问于2017-03-29得票数 1
回答已采纳
df.write.mode("append").parquet(path)
我使用它将拼图文件写入到一个S3位置。似乎为了写入文件，它还创建了一个/_temporary目录，并在使用后将其删除。所以我被拒绝访问了。我们AWS帐户的管理员不想授予代码删除该文件夹的权限。
我建议将文件写入另一个可以授予删除权限的文件夹，然后将文件复制过来。但是Admin仍然希望我将文件直接写入目标文件夹。
有没有什么配置可以让我要求Pyspark不要删除临时目录？
浏览 5提问于2019-12-10得票数 0
我想将s3 bucket myBucketName上的文件夹poc/folderName中的一些拼图文件读取到pyspark dataframe。我正在使用pyspark v2.4.3来做同样的事情。 下面是我正在使用的代码 sc = SparkContext.getOrCreate()
sc._jsc.hadoopConfiguration().set("fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
sc._jsc.hadoopConfiguration().set(&#
浏览 13提问于2019-10-11得票数 0
我正在尝试使用以下命令通过pyspark读取拼图文件：
file = spark.read.parquet("/FileStore/tables/file_name.parquet")
拼图文件中的列具有空格。因此，我尝试使用以下命令重命名这些列：
for c in file.columns:
file = file.withColumnRenamed(c, c.replace(" ", ""))
当我查看列名和模式时，我的列没有空格。然而，当我尝试显示Dataframe时，我得到了错误：
AnalysisException: Attri
浏览 4提问于2020-12-08得票数 0
我正在开发一个PySpark作业，用于读取文本文件，并在AWS S3桶上编写拼图文件。
我需要添加一个列到每一行，描述原始文本线的源文件。
我使用的是input_file_name，但是在输出列中看不到正确的源文件名。似乎对整个任务或错误的分区使用相同的文件名。
我不知道这是由我需要做的重新分区引起的，还是因为我正在S3中读取整个文件夹(前缀)。
这里是我的代码示例：
rdd = spark.sparkContext.textFile("s3a://source-bucket/prefix/")
rdd = rdd.repartition(numPartitions=(120)
浏览 3提问于2020-03-24得票数 1
回答已采纳
我以拼图格式存储了一个pyspark sql dataframe。现在，我还想将其保存为xml格式。我该怎么做呢？直接将pyspark sql dataframe保存在xml中或将拼图转换为xml的解决方案，对我来说什么都行。提前谢谢。
浏览 0提问于2016-06-21得票数 0
1回答
我有一个根据分区从s3导入拼图文件的presto表，如下所示： create table hive.data.datadump
(
tUnixEpoch varchar,
tDateTime varchar,
temperature varchar,
series varchar,
sno varchar,
date date
)
WITH (
format = 'PARQUET',
partitioned_by = ARRAY['series','sno','date&#
浏览 10提问于2020-01-24得票数 2
2回答
在s3目录s3://mybucket/my/directory/中有一些选项卡分隔的数据。
现在，我要告诉pyspark，我想使用\t作为分隔符，只在下面这样的一个文件中读取：
from pyspark import SparkContext
from pyspark.sql import HiveContext, SQLContext, Row
from pyspark.sql.types import *
from datetime import datetime
from pyspark.sql.functions import col, date_sub, log, mean, to
浏览 3提问于2017-07-17得票数 1
回答已采纳
我正在使用PySpark代码来创建一个拼图文件；具体来说，我使用了DataFrameWriter类的parquet()函数，并且只提供位置，而不是parquet文件的名称。我想知道创建的拼花文件的名称，但是函数不返回任何内容。有什么建议吗？
浏览 2提问于2022-03-30得票数 0
我使用cursor.fetchall()得到了输出。 如何将输出转换为Spark dataframe并在Pyspark中创建拼图文件？
浏览 27提问于2021-09-22得票数 0
我每天都将CSV文件存储在亚马逊网络服务s3中。下面是我的S3文件路径结构：
s3://data-dl/abc/d=2019-09-19/2019-09-19-data.csv
在此结构中，将每天生成s3文件路径的日期部分。
现在我想使用AWS glue for ETL将数据从S3传输到Redshift。要使用它，我如何在数据目录中添加S3路径？我只想同步最近使用的文件夹CSV文件。
另外，对于Job part，我如何在Glue Pyspark脚本中声明此动态路径？
浏览 1提问于2019-09-19得票数 0
我试着这样读s3上的拼图：
import dask.dataframe as dd
s3_path = "s3://my_bucket/my_table"
times = dd.read_parquet(
s3_path,
storage_options={
"client_kwargs": {
"endpoint_url": bucket_endpoint_url,
浏览 2提问于2019-05-14得票数 3
1回答
我已经使用S3数据格式在pyspark.pandas中读取和存储了拼花文件。现在，在第二阶段，我试图在databricks中读取pyspark dataframe中的parquet文件，并面临将嵌套的json列转换为适当列的问题。首先，我使用以下命令从S3读取拼图数据：
adf = spark.read.parquet('s3://path')
我的pyspark dataframe中的一个嵌套列如下所示：
event_params:array
element:struct
key:string
value:struct
dou
浏览 8提问于2022-06-07得票数 0
1回答
我在亚马逊s3上使用pyspark读取s3存储桶上的对象。我的存储桶是由许多json文件组成的，我读取了这些文件，然后将其另存为拼图文件
spark.read.json('s3://my-bucket/directory1/')
spark.write.parquet('s3://bucket-with-parquet/', mode='append')
每天我都会上传一些新的文件到s3://my-bucket/directory1/上，我想更新它们到s3://bucket-with-parquet/，有没有一种方法可以确保我不会两次更新数据。我
浏览 1提问于2019-12-03得票数 2
1回答
因此，我有一个s3存储桶(数据)，其中有一个名为(First)的文件夹，其中包含多个CSV文件，但我不知道该文件的名称，现在我想将该文件夹中的最新文件读取到pyspark dataframe中。
浏览 15提问于2021-09-16得票数 0
我正在使用AWS Glue作业在s3中以拼图格式备份dynamodb表，以便能够在雅典娜中使用它。 如果我想使用这些拼图格式的s3文件来恢复dynamodb中的表，这就是我的想法-读取每个拼图文件并将其转换为json，然后将json格式的数据插入到dynamodb中(使用下面几行中的pyspark ) # set sql context
parquetFile = sqlContext.read.parquet(input_file)
parquetFile.write.json(output_path) 使用- https://github.com/Alonreznik/dynamodb-
浏览 19提问于2019-12-29得票数 1
回答已采纳
我在HDFS上以Delta格式写入了数据。据我所知，Delta正在以拼接的形式存储数据，只是在它上面增加了一个具有高级功能的层。 但是，当使用Pyspark读取数据时，如果使用spark.read.parquet()或spark.read.format('delta').load()读取dataframe，我会得到不同的结果 df = spark.read.format('delta').load("my_data")
df.count()
> 184511389
df = spark.read.parquet("my_data
浏览 28提问于2021-01-27得票数 1
回答已采纳
我使用pyarrow(0.12.1)从s3读取拼图对象
下面是我使用的代码：
s3 = s3fs.S3FileSystem()
base_pya_dataset = ParquetDataset('s3://bucket1/source/schema/table_name/2019_10_31_19_59_16', filesystem=s3)
尝试创建ParquetDataset时出现以下错误：
"errorMessage": "Corrupted file, smaller than file footer",
"errorTyp
浏览 22提问于2019-11-09得票数 1
我正在寻找一个解决方案，从s3文件夹中读取拼图文件，并在做了几次转换后使用Glue转储到dynamodb中。
ETL Process
s3-folder/parquet_file --> Glue_Transformation --> Dynamodb
请告诉我最好的解决方案是什么？
谢谢
浏览 22提问于2021-05-29得票数 0
我有一个由爬虫创建的表，指向存储在s3中的一些拼图文件。从Glue data catalogue GUI中，我可以看到许多字段(53)。
当我打开一个ETL dev端点并连接到一个sagemaker笔记本，加载相同的表并运行printSchema时，我看到使用以下代码的字段(36)要少得多。
from pyspark.context import SparkContext
from awsglue.context import GlueContext, DynamicFrame
# Get the right stuff
glueContext = GlueContext(SparkCont
浏览 15提问于2018-12-12得票数 2
如何使用Python3.x将文件夹(由Spark编写)中的所有拼图文件读取到pandas DataFrame中？优选地，由于版本冲突而没有pyarrow。 文件夹包含带有pattern part-*.parquet和_SUCCESS文件的地块文件。
浏览 24提问于2021-02-01得票数 0
回答已采纳
我创建了一个按如下方式分区的拼图数据集： 2019-taxi-trips/
- month=1/
- data.parquet
- month=2/
- data.parquet
...
- month=12/
- data.parquet 此组织遵循Hive Metastore使用的Parquet dataset partitioning convention。此分区方案是手动生成的，因此目录树中的任何位置都没有_metadata文件。 现在我想将此数据集读取到Dask中。 当数据位于本地磁盘上时，以下代码可以
浏览 21提问于2020-10-08得票数 1
回答已采纳
我使用将自定义元数据添加到PySpark应用程序的DataFrames模式中
当我将拼图文件直接写到s3中时，它工作得很好。当按预期读取这些拼图文件时，自定义元数据可用。
但是它不能使用冰山表格格式。没有错误，但df.schema.fields.metadata始终为空。
有没有办法解决这个问题？
浏览 22提问于2021-11-22得票数 0
2回答
我想从一个S3桶中读取所有的拼板文件，包括子目录中的所有文件(这些实际上是前缀)。
在S3 url中使用通配符(*)只适用于指定文件夹中的文件。例如，使用此代码将只读取target/文件夹下的拼花文件。
df = spark.read.parquet("s3://bucket/target/*.parquet")
df.show()
假设我在我的s3桶中有这样一个结构：
"s3://bucket/target/2020/01/01/some-file.parquet"
"s3://bucket/target/2020/01/02/some-file.pa
浏览 1提问于2020-10-08得票数 2
回答已采纳
我已经写了一个pyspark程序，它从cassandra读取数据，并将数据写入aws s3。在写入拼图之前，我必须重新划分(1)或合并(1)，因为这会创建一个单独的文件，否则它会在s3中创建多个s3文件。使用repartition(1)或coalesce(1)有性能问题，我觉得创建一个大的分区对于巨大的数据不是一个好的选择。有什么方法可以在不影响性能的情况下在s3中创建单个文件？
浏览 0提问于2020-12-09得票数 0
我使用pyspark从亚马逊S3上的拼图文件中读取数据帧，如下所示
dataS3 = sql.read.parquet("s3a://" + s3_bucket_in)
这是没有问题的。但之后我会试着写数据
dataS3.write.parquet("s3a://" + s3_bucket_out)
我确实得到了以下异常
py4j.protocol.Py4JJavaError: An error occurred while calling o39.parquet.
: java.lang.IllegalArgumentException: java.net.U
浏览 0提问于2017-09-28得票数 5
回答已采纳
2回答
我正在使用EMR笔记本和pyspark和livy。
我从s3中读取数据，数据格式为拼图和字符串，并将其读入pyspark数据帧。大约有几个。200万行。当我执行连接操作时。我收到400会话处于非活动状态。为此，我已经将livy超时设置为5小时。
遇到错误:来自的无效状态代码'400‘，负载错误：“要求失败:会话未处于活动状态。”
浏览 1提问于2019-08-19得票数 1
2回答
我正在移植一个python项目(s3 +雅典娜)从使用csv拼花。
我可以制作拼花面板文件，可以通过拼花面板视图查看。
我可以将文件上传到s3存储桶。
我可以创建指向s3存储桶的雅典娜表。
但是，当我在Athena Web GUI中查询该表时，它运行了10分钟(似乎永远不会停止)，并且没有显示任何结果。
整个项目很复杂。我试着简化这个案例。
1.假设我们有以下csv文件(test.csv)
"col1","col2"
"A","B"
2.然后，我使用以下python (2.7)代码将其转换为拼图文件(test.pa
浏览 18提问于2018-09-06得票数 0
我需要读取数据(来自一个包含5列的RedShift表，表的总大小约为500 job 1tb)，通过PySpark将数据从PySpark读入Spark，以完成每天的批处理任务。
是否有任何最佳做法：
我如何用S3存储数据的首选文件格式？(格式是否重要？)
最佳文件大小？
任何资源/链接，可以指出我的正确方向，也将发挥作用。
谢谢!
浏览 1提问于2019-07-10得票数 1
回答已采纳
问题-我正在使用azure databricks在pyspark中读取拼图文件。有一些列有很多空值并且有十进制值，这些列被读取为字符串而不是双精度。 有没有办法推断出pyspark中正确的数据类型？ 代码- 要读取拼花面板文件- df_raw_data = sqlContext.read.parquet(data_filename[5:]) 它的输出是一个包含100多列的数据帧，其中大多数列都是double类型的，但printSchema()将其显示为string。 P.S -我有一个可以有动态列的拼图文件，因此为dataframe定义struct对我不起作用。我过去常常将spark数据帧转
浏览 16提问于2020-06-23得票数 0
2回答
我使用以下命令从databricks中的S3读取一个拼图文件
df = sqlContext.read.parquet('s3://path/to/parquet/file')
我想读取dataframe的架构，我可以使用以下命令来完成：
df_schema = df.schema.json()
但我无法将df_schama对象写入S3上的文件。注意:我不想创建json文件。我只想将dataframe的模式保存到AWS S3中的任何文件类型(可能是文本文件)中。
我尝试编写json模式，如下所示，
df_schema.write.csv("s3://path/to/fi
浏览 0提问于2019-06-21得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
