使用org.apache.hadoop从pyspark中的s3读取文件
要从 PySpark 中的 S3 读取文件，您需要使用 org.apache.hadoop 库
- 首先，确保您已经安装了 PySpark。如果没有，请使用以下命令安装：
pip install pyspark- 安装
hadoop-aws和aws-java-sdk-bundleJAR 文件。这些 JAR 文件包含了与 AWS S3 交互所需的类。
将下载的 JAR 文件放在 PySpark 的 jars 目录中。
- 配置 PySpark 以使用这些 JAR 文件。在启动 PySpark 时，使用
--jars参数指定 JAR 文件的路径。例如：
pyspark --jars /path/to/hadoop-aws.jar,/path/to/aws-java-sdk-babel.jar- 配置 Hadoop AWS 凭据。您需要设置以下环境变量：
export AWS_ACCESS_KEY_ID=your_aws_access_key_id
export AWS_SECRET_ACCESS_KEY=your_aws_secret_access_key或者，您可以在 PySpark 配置中设置这些属性：
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName("S3 Read Example") \
.config("spark.hadoop.fs.s3a.access.key", "your_aws_access_key_id") \
.config("spark.hadoop.fs.s3a.secret.key", "your_\
aws_secret_access_key") \
.getOrCreate()- 使用 PySpark 从 S3 读取文件。例如，从 S3 读取一个 CSV 文件：
df = spark.read.csv("s3a://your-bucket-name/path/to/your/file.csv", header=True, inferSchema=True)
df.show()将 your-bucket-name 和 path/to/your/file.csv 替换为您的实际 S3 存储桶名称和文件路径。
相关·内容
我使用的是Apache Spark 3.1.0和Python 3.9.6。我正在尝试从亚马逊网络服务的S3存储桶中读取csv文件，如下所示： spark = SparkSession.builder.getOrCreate()
file = "s3://bucket/file.csv"
c = spark.read\
.csv(file)\
.count()
print(c) 但是我得到了以下错误： py4j.protocol.Py4JJavaError: An error occurred while calling o26.csv.
: org.apa
浏览 167提问于2021-08-25得票数 2
回答已采纳
我正在尝试通过Pycharm访问在S3桶中可用的parquet文件，使用Pyspark。我在Pycharm中配置了AWS工具包，并且在我的~/.aws/credentials中添加了访问密钥和安全密钥，但是我看到凭据没有被访问。这会引发错误“无法从链中的任何提供程序加载AWS凭据”。
import os
import pyspark
from pyspark.sql import SparkSession
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.amazonaws:aws-java-sdk-pom:1.
浏览 1提问于2020-09-04得票数 0
我正在尝试从我运行的一个小spark集群中读取S3文件。我安装了以下jars：
"aws-java-sdk-bundle-1.11.975.jar"
"hadoop-aws-3.2.1.jar"
并且我使用了以下代码：
from pyspark.context import SparkContext
from pyspark.sql import SparkSession, SQLContext
import os
# initialise Spark session
spark = SparkSession \
.builder \
.app
浏览 0提问于2021-03-16得票数 1
1回答
当我尝试使用火花提交从s3读取数据时，我遇到了一个问题。该应用程序只是停留在没有任何警告或控制台，当它从s3桶读取数据。但是，如果我使用python运行相同的应用程序，它就能工作！也许有人也面临同样的问题？
Test.py的代码：
import os
from pyspark.sql import SparkSession
os.environ["PYSPARK_SUBMIT_ARGS"] = """--packages com.amazonaws:aws-java-sdk:1.11.711,org.apache.hadoop:hadoop-aws:3.
浏览 2提问于2021-05-27得票数 0
回答已采纳
我跟踪了，它建议使用：
from pyspark import SparkConf
from pyspark.sql import SparkSession
conf = SparkConf()
conf.set('spark.jars.packages', 'org.apache.hadoop:hadoop-aws:3.2.0')
conf.set('spark.hadoop.fs.s3a.aws.credentials.provider', 'org.apache.hadoop.fs.s3a.TemporaryAWSCredent
浏览 7提问于2022-01-28得票数 2
回答已采纳
3回答
我使用的是PyCharm 2018.1，使用的是Python3.4，其中的Spark2.3是通过pip安装在一个虚拟环境中的。本地主机上没有安装hadoop，因此没有Spark安装(因此没有SPARK_HOME、HADOOP_HOME等)。
当我尝试这样做时：
from pyspark import SparkConf
from pyspark import SparkContext
conf = SparkConf()\
.setMaster("local")\
.setAppName("pyspark-unittests")\
.se
浏览 0提问于2018-05-05得票数 4
回答已采纳
我试图提供一个文件列表，以便在需要的时候读取这些文件(这就是为什么我不希望使用boto或其他任何方法将所有文件预下载到实例中，然后才将它们读入spark“本地”)。
os.environ['PYSPARK_SUBMIT_ARGS'] = "--master local[3] pyspark-shell"
spark = SparkSession.builder.getOrCreate()
spark.sparkContext._jsc.hadoopConfiguration().set('fs.s3.access.key', credential
浏览 9提问于2022-02-27得票数 0
我目前正在通过本地模式运行PySpark。我希望能够通过S3高效地输出拼花文件到。这个PySpark实例使用的是本地磁盘，而不是HDFS，因为它是通过spark-submit --master local[*]提交的。
我可以在不启用目录提交器的情况下成功地写入我的S3实例。但是，这需要将暂存文件写入S3并重命名它们，这是缓慢和不可靠的。我希望斯派克将我的本地文件系统写成临时存储，然后复制到S3。
我的PySpark conf中有以下配置：
self.spark.conf.set("spark.sql.execution.arrow.pyspark.enabled", "
浏览 8提问于2021-12-24得票数 0
回答已采纳
我有一个胶水笔记本，我试图从一个不同的AWS帐户读取一个特定的文件。当我试着运行一个火花会话并阅读它。代码工作得很好，我得到了火花df，但是当我尝试使用glueContext.create_dynamic_frame()时，我会得到一个Access Denied错误。
到目前为止，我的代码就是这样的。是因为我没有正确传递AWS会话凭据吗？
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
浏览 3提问于2022-11-18得票数 0
rdd.saveAsTextFile("s3n://bucket-name/path)正在创建一个文件夹名为- hadoop的空文件，hadoop-aws jar (of org.apache.hadoop)使用这个空文件将S3文件系统模仿为hadoop文件系统。
但是，我的应用程序将数以千计的文件写入S3。当saveAsTextFile创建文件夹(从给定的路径)来写入数据(从rdd)时，我的应用程序最终创建了数千个这样的空文件- [directory-name]_$folder$。
有没有办法让rdd.saveAsTextFile不写这些空文件？
浏览 13提问于2017-12-26得票数 2
我对火星雨和AWS很陌生。我正在尝试从aws s3 pyspark 3.3.0版本读取数据--我尝试了以下操作：
from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.config('spark.master', 'local')\
.config('spark.app.name', 's3app')\
.config('spark.jars.packages', 'org.apache.hadoop:hadoop-aw
浏览 14提问于2022-08-24得票数 0
因此，我对AWS、S3、pyspark和linux都很陌生。我不知道从哪里开始。以下是我的问题：
在linux中，我可以发出以下命令，并可以在文件夹中看到文件：
aws s3 ls 's3://datastore/L2/parquet'
使用python做类似的事情不起作用。
import os
os.listdir('s3://datastore/L2/parquet')
它会产生错误：
Traceback (most recent call last):
File "<stdin>", line 1, in <modul
浏览 1提问于2017-03-29得票数 1
回答已采纳
2回答
无法加载S3-托管的CSV到星火数据在木星笔记本上。
我相信我上传了两个必需的包与以下的os.environ行。如果我做错了，请告诉我如何正确安装它。木星笔记本是托管在一个EC2实例上的，这就是为什么我试图从一个S3桶中提取CSV。
这是我的代码：
import os
import pyspark
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.amazonaws:aws-java-sdk-pom:1.10.34,org.apache.hadoop:hadoop-aws:2.7.2 pyspark-shell
浏览 19提问于2022-06-23得票数 0
回答已采纳
目前，我正在尝试将delta-lake parquet文件写入S3，并在本地用MinIO替换该文件。
我可以很好地将标准的parquet文件读写到S3中。
但是，当我使用时
配置
我似乎不能把delta_log/写到我的MinIO上。
所以我试着设置：fs.AbstractFileSystem.s3a.impl和fs.s3a.impl。
我正在使用pyspark[sql]==2.4.3，这是我在当前venv中使用的。
src/.env：
# pyspark packages
DELTA = io.delta:delta-core_2.11:0.3.0
HADOOP_COMMON = org.a
浏览 1提问于2019-09-08得票数 0
我试图使用Pyspark使用临时会话凭据从S3读取文件，但始终得到错误：
Received error response: com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 403, AWS Service: null, AWS Request ID: XXXXXXXX, AWS Error Code: null, AWS Error Message: Forbidden, S3 Extended Request ID: XXXXXXX
我认为问题可能是，S3A连接除了标准访问密钥和秘密密钥之外，还需要使用org.a
浏览 1提问于2018-08-09得票数 3
回答已采纳
我想初始化在AWS cloud9上的PyscemVersion3.3.1，并从aws读取一个s3文件路径。但是当我运行代码时，我得到了在图像中显示的错误。
我在想我的Pyspark初始化有什么问题，我已经尝试了我的同事提供的下面的代码，但是显然这对我不起作用。
我的电火花版本是3.3.1和hadoop版本3
pkg_list=org.apache.spark:spark-avro_2.11:2.4.4,org.apache.hadoop:hadoop-aws:2.7.1
pyspark --packages $pkg_list --driver-memory 32G --driver-cor
浏览 7提问于2022-12-02得票数 0
我每天都将CSV文件存储在亚马逊网络服务s3中。下面是我的S3文件路径结构：
s3://data-dl/abc/d=2019-09-19/2019-09-19-data.csv
在此结构中，将每天生成s3文件路径的日期部分。
现在我想使用AWS glue for ETL将数据从S3传输到Redshift。要使用它，我如何在数据目录中添加S3路径？我只想同步最近使用的文件夹CSV文件。
另外，对于Job part，我如何在Glue Pyspark脚本中声明此动态路径？
浏览 1提问于2019-09-19得票数 0
1回答
我正在试图找出使用编写数据的最佳方法是。
从S3桶中阅读似乎没有问题，但是当我需要编写它时，它真的很慢。
我已经像这样启动了火花外壳(包括hadoop-aws包)：
AWS_ACCESS_KEY_ID=<key_id> AWS_SECRET_ACCESS_KEY=<secret_key> pyspark --packages org.apache.hadoop:hadoop-aws:3.2.0
这是示例应用程序。
# Load several csv files from S3 to a Dataframe (no problems here)
df = spark.r
浏览 14提问于2020-10-28得票数 1
回答已采纳
2回答
在s3目录s3://mybucket/my/directory/中有一些选项卡分隔的数据。
现在，我要告诉pyspark，我想使用\t作为分隔符，只在下面这样的一个文件中读取：
from pyspark import SparkContext
from pyspark.sql import HiveContext, SQLContext, Row
from pyspark.sql.types import *
from datetime import datetime
from pyspark.sql.functions import col, date_sub, log, mean, to
浏览 3提问于2017-07-17得票数 1
回答已采纳
我有一个存储.gz文件(json格式)的S3存储桶。每小时将有更多的文件发送到此存储桶。我想使用Glue增量地(每天)从S3存储桶中读取数据，将.gz转换为拼接，然后写回另一个S3存储桶。 我想我可以使用Glue书签来完成增量文件的读取/转换/写入。然而，我发现如果我读取spark dataframe中的.gz文件，书签就不起作用了。换句话说，我的下面的胶水作业不会以增量方式读取文件。它读取该存储桶中的所有文件。我确实在胶水作业中启用了Bookmark。 我错过了什么吗？是否需要通过glue动态数据帧而不是spark数据帧读取文件？ 我实际上不知道如何通过glue动态数据帧正确读取.gz文件
浏览 24提问于2020-12-30得票数 1
2回答
我使用的是pyspark 1.6.0。
我有现有的pyspark代码从亚马逊网络服务的S3桶读取二进制数据文件。其他Spark/Python代码将解析数据中的位，将其转换为int、string、boolean等。每个二进制文件都有一条数据记录。
在PYSPARK中，我使用: sc.binaryFiles("s3n://.......")读取二进制文件。
这很有效，因为它提供了一个元组(文件名和数据)，但我正在尝试找到一个等效的PYSPARK流API来读取二进制文件作为流(如果可以的话，希望也是文件名)。
我尝试过:binaryRecordsStream(目录，recordLen
浏览 3提问于2016-06-29得票数 6
1回答
我正试图使用Databricks DataFrame包和，从EMR集群上的S3上的CSV源创建一个
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('s3n://h2o-airlines-unpacked/allyears.csv')
df.first()
这不会在4m3.xlarge的集群上终止。我
浏览 0提问于2015-08-28得票数 3
我需要读取数据(来自一个包含5列的RedShift表，表的总大小约为500 job 1tb)，通过PySpark将数据从PySpark读入Spark，以完成每天的批处理任务。
是否有任何最佳做法：
我如何用S3存储数据的首选文件格式？(格式是否重要？)
最佳文件大小？
任何资源/链接，可以指出我的正确方向，也将发挥作用。
谢谢!
浏览 1提问于2019-07-10得票数 1
回答已采纳
我正在尝试同时使用Jupyter、PySpark和S3文件(通过s3a协议)。我需要org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider，因为我们需要使用s3会话令牌。这是添加到hadoop-aws 2.8.3+中的。我正在尝试以下代码：
import os
from pyspark.sql import SparkSession
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.hadoop:hadoop-aws:3.0.0 pyspark
浏览 1提问于2018-11-16得票数 2
1回答
我们有一台unix机器，可以直接访问我们的s3桶。我们能够从unix机器上运行所有cli命令，比如"aws s3 ls“。现在，我们需要从那里读取一个文件，并使用pyspark创建一个星火数据框架。
因此，现在需要对unix框进行ssh连接，并读取该文件并创建星火数据框架。
有没有人能帮助我们如何访问s3而不用使用pyspark访问关键细节。
浏览 2提问于2022-10-19得票数 0
1回答
我目前正在使用这个数据集s3://commoncrawl/crawl-001/2008/06/19/1/。它的大小是24 S3，我正在尝试将其分离为文本/html请求，并将其保存在我的S3存储桶中。代码一切正常，但当我试图将它保存到存储桶中时，我的记忆出现了问题： Reason: Container killed by YARN for exceeding memory limits. 11.1 GB of 11 GB physical memory used. 最初，我从具有两个从节点m5.xlarge的主节点开始，后来我尝试将主节点和从节点与m5.2xlarge放在一起，但这是不够的。
浏览 15提问于2021-09-08得票数 0
回答已采纳
我在使用pyspark写到S3桶时遇到了以下错误。
com.amazonaws.services.s3.model.AmazonS3Exception:状态代码: 400，服务： S3，AWS请求ID: A0B0C0000000DEF0，AWS错误代码: InvalidArgument，AWS错误消息:使用AWS托管密钥指定服务器端加密的请求需要签名版本4。
我已经在S3桶上使用AWS服务应用了服务器端加密。我正在使用以下的火花-提交命令-
spark-submit --packages com.amazonaws:aws-java-sdk-pom:1.10.34,org.apache.ha
浏览 5提问于2020-10-19得票数 4
我在我的pyspark代码中创建和使用检查点。由于我使用的是非常大的数据帧，因此随着时间的推移，它们的大小往往会膨胀。有没有办法在作业完成后删除检查点文件夹？
例如，如下伪代码所示：
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
sc = spark.sparkContext
spark.sparkContext.setCheckpointDir("s3://path/Checkpoint_Folder")
df=spark.read.parquet("s
浏览 2提问于2021-05-02得票数 1
我想将s3 bucket myBucketName上的文件夹poc/folderName中的一些拼图文件读取到pyspark dataframe。我正在使用pyspark v2.4.3来做同样的事情。 下面是我正在使用的代码 sc = SparkContext.getOrCreate()
sc._jsc.hadoopConfiguration().set("fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
sc._jsc.hadoopConfiguration().set(&#
浏览 13提问于2019-10-11得票数 0
因为我使用的当前星星之火环境是在hadoop2.7中使用Spark2.4，但是hadoop2.7不支持SSE。来自apache：，它是在2.8中引入的，并且在Hadoop3.0之后得到了完全的支持。然后从正式的中添加两个配置参数fs.s3a.server-side-encryption-algorithm & fs.s3a.server-side-encryption.key“。
在以前的文档的基础上，我将包org.apache.hadoop:hadoop-aws:3.1.1 & com.amazonaws:aws-java-sdk:1.9.5添加到spark-submit参数
浏览 0提问于2019-08-09得票数 1
目前，我正在使用Apache (吡火花)构建一个应用程序，我有以下用例：
以本地模式运行pyspark (使用spark-submit local[*])。
以分区Parquet文件的形式将我的星火作业的结果写入S3。
确保每个作业覆盖它要写入的特定分区，以确保幂等作业。
确保在提交到S3之前将火花暂存文件写入本地磁盘，因为在S3中进行暂存，然后通过重命名操作提交，这是非常昂贵的。
由于各种内部原因，上述四个要点都是不可谈判的.
除了最后一颗子弹外，我什么都有。我正在运行一个pyspark应用程序，并编写到S3 (实际上是一个on 实例)，确保spark.sql.sou
浏览 33提问于2022-01-17得票数 2
我有一个问题--如何用sc.textFile在PySpark上加载本地文件(不是在HDFS上，也不是在PySpark上)。我读取，然后将sales.csv复制到主节点的本地(而不是HDFS)，最后执行以下操作
sc.textFile("file:///sales.csv").count()
但是它返回以下错误，即file:/click_data_sample.csv does not exist
z:org.apache.spark.api.python.PythonRDD.collectAndServe.：调用Py4JJavaError时出错：ip-17x-xx-xx-xx
浏览 7提问于2016-02-01得票数 20
描述
在PySpark中，即使可以将DataFrame保存到S3/S3A (不是AWS，而是符合S3的存储器)，但它的数据是不加密的，尽管使用了设置fs.s3a.encryption.algorithm (SSE-C)和fs.s3a.encryption.key。
再现性
生成密钥如下：
encKey=$(openssl rand -base64 32)
启动PySpark外壳：
pyspark --master spark://[some_host]:7077 \
--packages io.delta:delta-core_2.12:2.0.0,org.apache.hadoop:
浏览 4提问于2022-10-05得票数 0
1回答
我试图用Spark读取多个文件--这些文件是avro文件，并存储在名为datalake的Minio桶中
我使用的是:星火2.2.1，没有hadoop编译
Minio (最新的小型/小型码头)
2个软件包:com.databricks:spark_2.11:4.0.0和org.apache.hadoop:hadoop-aws:2.8.3
目前，我正在用火花放电进行测试：
PYSPARK_PYTHON=python3 /usr/local/spark/pyspark --packages com.databricks:spark-avro_2.11:4.0.0,org.apache.hadoop:
浏览 0提问于2018-06-26得票数 1
回答已采纳
2回答
我想从一个S3桶中读取所有的拼板文件，包括子目录中的所有文件(这些实际上是前缀)。
在S3 url中使用通配符(*)只适用于指定文件夹中的文件。例如，使用此代码将只读取target/文件夹下的拼花文件。
df = spark.read.parquet("s3://bucket/target/*.parquet")
df.show()
假设我在我的s3桶中有这样一个结构：
"s3://bucket/target/2020/01/01/some-file.parquet"
"s3://bucket/target/2020/01/02/some-file.pa
浏览 1提问于2020-10-08得票数 2
回答已采纳
我有一个包含s3文件路径的列，我想读取所有这些路径，稍后在PySpark中连接它。
浏览 15提问于2022-08-11得票数 -1
我正在使用下面的pyspark代码从s3桶中读取数千个JSON文件
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.read.json("s3://bucknet_name/*/*/*.json")
这需要大量时间来读取和解析JSON文件(~16分钟)。我如何并行化或加速这个过程？
浏览 1提问于2018-06-20得票数 2
我想从S3资源创建一个Apache Spark DataFrame。我在亚马逊网络服务和对象存储上进行了尝试，两者都失败了，原因是
org.apache.spark.util.TaskCompletionListenerException: Premature end of Content-Length delimited message body (expected: 2,250,236; received: 16,360)
我正在运行pyspark
./pyspark --packages com.amazonaws:aws-java-sdk-pom:1.11.828,org.apache
浏览 92提问于2020-07-30得票数 2
1回答
我是Spark的新手，但我正在尽可能多地阅读。我有一个小项目，其中多个数据文件(在gzip中)将每小时连续地放在一个S3存储桶中。我需要能够打开/读取这些gzip文件，并在它们之间合并/聚合数据。因此，我需要以整体的方式来看待它们。如何使用Amazon AWS提供的哪些技术和工具？我是在S3文件夹中创建临时文件，还是在内存中保留数据帧，或者使用某个数据库并在每小时后清除数据？所以，我寻找的不仅仅是一段代码，而是一些想法。
到目前为止，在亚马逊网络服务中，我已经编写了一个pyspark脚本，它一次读取一个文件，并在output S3文件夹中创建一个输出文件。但这给我留下了每个小时的多个输出文件。
浏览 0提问于2020-01-23得票数 0
我有一个EC2实例，我试图将PySpark配置为从S3读取。我为EC2实例设置了一个完整的access IAM角色，并在spark中使用了以下软件包：
com.amazonaws:aws bundle:1.11.563，org.apache.hadoop:hadoop:3.3.1
但是，我遇到了一些新的错误，我不知道这意味着什么：
org.apache.hadoop.fs.s3a.AWSClientIOException：： getFileStatus on S3A://bucket_name.content/mycsv.csv: com.amazonaws.SdkClientExcept
浏览 1提问于2022-02-22得票数 0
假设我要这么做：
import os os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages "org.apache.hadoop:hadoop-aws:2.7.3" pyspark-shell' from pyspark import SparkConf from pyspark import SparkContext
from pyspark import SparkConf
from pyspark import SparkContext
conf = SparkConf() \
.
浏览 0提问于2018-05-08得票数 16
我正在通过从多个名为rawpart1.json和rawpart2.json的S3存储桶中读取json文件来运行AWS Glue ETL作业。验证两个文件中的字段以及两个S3存储桶中的文件名。我可以读取和更改文件名吗？ETL job运行后，在S3存储桶中为ETL job的输出创建文件名。目前我得到的文件名是run-15902070851728-part-r-00000。让我知道我们是否可以在pyspark中做这件事？谢谢
浏览 19提问于2020-06-09得票数 1
如何将S3存储桶中的大量文件加载到单个PySpark数据帧中？我在一个EMR实例上运行。如果文件是本地的，我可以使用SparkContext textFile方法。但是当文件在S3上时，我如何使用boto3加载多个不同类型的文件(CSV，JSON，...)转换成一个单独的数据帧进行处理？
浏览 0提问于2018-05-29得票数 3
回答已采纳
我正在创建火花会话使用下面的代码片段在python笔记本上的AWS EMR集群。
spark = SparkSession.builder \
.config("spark.jars.packages","org.apache.hadoop:hadoop-aws:2.7.0") \
.getOrCreate()
然后从S3桶中读取数据，如下所示
df_songs = spark.read.option("recursiveFileLookup","true
浏览 10提问于2022-10-10得票数 0
回答已采纳
2回答
我正在将数据写入s3存储桶，并使用pyspark创建拼图文件。我的存储桶结构如下：
s3a://rootfolder/subfolder/table/
子文件夹和表如果文件夹不存在，这两个文件夹应该在运行时创建，如果文件夹存在，拼图文件应该在文件夹表中。
当我在本地机器上运行pyspark程序时，它会用_$folder$ (如table_$folder$ )创建额外的文件夹，但如果从emr运行相同的程序，它就会用_SUCCESS创建。
writing into s3: (pyspark program)
data.write.parquet("s3a://rootfolder/sub
浏览 2提问于2020-12-03得票数 0
我试图使用完全兼容s3 sdk/api的本地对象存储来运行一个简单的Apache (Cloudera)读取操作。但我似乎无法理解如何让Spark理解我正在尝试访问本地S3桶，而不是远程AWS/S3。
这是我试过的..。
pyspark2 --conf spark.hadoop.hadoop.security.credential.provider.path=jceks://hdfs/user/myusername/awskeyfile.jceks --conf fs.s3a.endpoint=https://myenvironment.domain.com
df = spark.read.pa
浏览 0提问于2019-07-29得票数 0
1回答
我得到了这样的要求:在PySpark中，我需要从s3中的文件中获取最新的日期。
如何使用Pyspark代码获取日期？
s3文件路径，示例：
"s3://bucketname/folderpath/2021/10/10/file.parquet, s3://bucketname/folderpath/2021/10/08/file.parquet, s3://bucketname/folderpath/2021/10/05/file.parquet, s3://bucketname/folderpath/2021/10/02/file.parquet"
Output：从S3获取最
浏览 1提问于2021-11-15得票数 0
我正在一个Mac上运行PyCharm 2018.2，并执行一个py行之有效的程序。星星之火安装在虚拟环境中。
我需要在我的pyspark脚本中使用外部jars (特别是AWS s3 jars)，所以我使用以下方法来声明maven的依赖性：
import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages "org.apache.hadoop:hadoop-aws:2.7.3" pyspark-shell'
conf = SparkConf() \
.setMaster("local
浏览 0提问于2018-05-08得票数 2
回答已采纳
1回答
下面的代码是在pyspark shell中运行时的工作文件，但在spark-submit master-yarn中执行时失败。 我到底做错了什么？ from datetime import date, timedelta
import pandas as pd
import os, sys
startd = '20140101'
endd=str(sys.argv[1])
currd=str(sys.argv[2])
spark = SparkSession.builder.getOrCreate()
base = &
浏览 14提问于2020-07-28得票数 1
我在上传大文件到s3a时遇到了一个无法解释的问题。我使用带有spark-2.4.4-bin-hadoop2.7和Spark DataFrame的EC2实例来写入V4版本的s3a。使用访问密钥和密钥验证S3。
过程如下: 1)从s3a中读取csv文件作为火花DataFrame；2)数据处理；3)将数据帧以拼接的格式上传到s3a中
如果我使用400MB的csv文件执行此过程，则没有任何问题，一切工作正常。但当我在将拼图文件写入s3a的过程中对一个12 GB的csv文件执行同样的操作时，出现了一个错误：
状态代码: 403，亚马逊服务:亚马逊S3，亚马逊服务请求ID: 2CA5F6E85BC36E8
浏览 6提问于2019-09-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
