1回答
我正在从s3存储桶中读取大量文件。 在读取这些文件之后，我想对数据帧执行过滤操作。 但在执行过滤操作时，会再次从s3存储桶下载数据。如何避免数据帧重新加载？但是，数据还是从s3存储桶中以某种方式再次被拉了出来。var df = spark.read.json("pa
浏览 6提问于2019-09-05得票数 0
我正在通过从多个名为rawpart1.json和rawpart2.json的S3存储桶中读取json文件来运行AWS Glue ETL作业。验证两个文件中的字段以及两个S3存储桶中的文件名。我可以读取和更改文件名吗？ETL job运行后，在S3存储<
浏览 19提问于2020-06-09得票数 1
我正在使用Hadoop来处理Google Books ngram，这些ngram在亚马逊S3中存储为Hadoop序列文件。S3包含从Hadoop读取数据的功能(使用Hadoop存储桶作为虚拟的“文件系统”)，只需在文件名上指定s3://或s3n://协议即可。
不幸的是，它需要您设置您的AWS访问权限和密钥。因为我想要读取的
浏览 0提问于2012-06-21得票数 4
我需要编写代码(python)将S3文件从一个S3存储桶复制到另一个存储桶。源存储桶在不同的AWS帐户中，我们使用IAM用户凭据从该存储桶中读取。代码运行在与目标存储桶相同的帐户中，因此它具有IAM角色的写访问权限。我能想到的一种方法是创建与源帐户的s3客户
浏览 6提问于2019-07-09得票数 0
回答已采纳
我正在从AWS (.xlsx)存储桶中读取MuleSoft中的Excel ( S3 )文件，一旦从S3存储桶中读取了该文件，我将获得以下excel文件的数据：output application/json
payload.parts pluck (value,key,i
浏览 12提问于2021-06-14得票数 0
1回答
我正在尝试将数据从AWS S3复制到。目前，我的程序如下：
运行"COPY FROM STDIN ...“命令将数据从输入流加载到Aurora。我想知道是否有一个命令可以直接从S3复制到Aurora。
浏览 4提问于2017-03-31得票数 9
我有一个存储.gz文件(json格式)的S3存储桶。每小时将有更多的文件发送到此存储桶。我想使用Glue增量地(每天)从S3存储桶中读取数据，将.gz转换为拼接，然后写回另一个S3存储桶。我想我可以使用Glue书签来完成增量文件的读取&#x
浏览 24提问于2020-12-30得票数 1
我正在尝试读取SQS中的所有消息，聚合所有这些消息，并使用lambda将它们作为一个JSON文件存储到S3桶中。在我的实现中涉及到以下步骤
在读取了来自SQS的所有消息之后，现在这个lambda必须将所有接收到的消息聚合到一个ArrayList中</em
浏览 0提问于2019-03-26得票数 1
回答已采纳
2回答
使用Lambda从S3读取数据
、、、、
我在AWS上的S3桶中存储了一系列json文件。我有一个稳定的python脚本，用于解析和写入数据库。我需要lambda脚本来迭代json文件(当它们被添加时)。
连接到S3
浏览 3提问于2015-11-18得票数 44
回答已采纳
我正在尝试从多个s3存储桶中读取文件。
最初，存储桶将位于不同的区域，但看起来这是不可能的。因此，现在我已经将另一个存储桶复制到与要读取的第一个存储桶相同的区域，这也是我正在执行spark作业的同一区域。奇怪的是，无论我选择哪个存储桶，第一次读取总是有效的。但是，无论存储<e
浏览 0提问于2019-04-09得票数 0
我们如何从s3存储桶上的json压缩文件中提取大量的数据？在s3存储桶中给出一个压缩的json文件。需要解压文件并解压缩
浏览 1提问于2020-10-27得票数 0
1回答
我需要阅读使用预告从s3，一个完整的数据集，位于“桶-a”。但是，在桶内，数据按年保存在子文件夹中。所以我有个水桶看起来是这样的桶-a>2018>更多数据上述所有数据都是相同的表，但都以这种方式保存在s3中。请注意，在桶-a本身没有数据，只是在每个文件夹。
我要做的是将<
浏览 1提问于2020-02-13得票数 1
回答已采纳
我配置了Flysystem来处理所有要从S3桶中保存和服务的文件和图像。我没有看到任何添加S3桶来备份和迁移的功能。
我确实安装并启用了S3FS，但并不只看到备份文件的配置。
浏览 0提问于2019-10-27得票数 -1
因此，我一直试图在我的.json桶中托管一些s3文件，这些文件可以通过简单的GET请求来检索。https://s3.amazonaws.com/[my-bucket-name]/[my-file-name].jsoncurl -
浏览 3提问于2019-02-05得票数 0
回答已采纳
1回答
读取CDK中的桶对象
、、、、
在terraform中，在部署时从s3桶读取对象时，我可以使用数据源CDK中是否有类似的概念？我看到了将资产上传到s3以及导入现有桶的各种方法，但没有从存储桶中获取对象。我需要从存储桶中读取一个会影响进一步部署的配置文件。
浏览 2提问于2022-05-25得票数 1
回答已采纳
我的S3存储桶上有大量的文件，并添加了一个存储桶策略来使它们全部公开。现在，当我浏览根目录时，它会列出整个目录(或前1000个项目)。如何防止目录浏览？
浏览 3提问于2012-03-05得票数 48
1回答
我使用下面的DDL脚本在Athena中创建了一个外部表。表在Athena中创建成功，但是当我查询它时，它返回0行。指定的s3存储桶中的文件是csv.gz文件(我正尝试在TBLPROPERTIES中排除一个json文件)。s3存储桶所在的帐户与我查询它的帐户不同。假设我使用的IAM角色有权从另一个帐户的源S3存储
浏览 2提问于2020-10-15得票数 0
3回答
我有一些格式非常特殊的数据(例如，由NI系统生成的tdms文件)，我将它们存储在S3存储桶中。通常，如果数据存储在我的本地计算机中，为了用python读取这些数据，我会使用npTDMS包。但是，当tdms文件存储在S3存储桶中时，应该如何读取这些文件呢？一种解决方案是将数据下载到EC2实例，然
浏览 22提问于2019-12-21得票数 0
回答已采纳
2回答
使用boto3在s3中搜索存储桶
、、、、
我正在尝试创建一个python脚本，用于将文件上传到s3存储桶中。问题是，我希望这个脚本转到s3，搜索所有的存储桶，找到名称中包含特定关键字的存储桶，并将文件上传到该存储桶。我目前有这个： import boto3
with ope
浏览 25提问于2021-05-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
