如何在s3上直接解压s3上的文件？

文章/答案/技术大牛

发布

1回答

我们如何从s3存储桶上的json压缩文件中提取大量的数据？

python、amazon-web-services、amazon-s3、aws-lambda、bucket

我们如何从s3存储桶上的json压缩文件中提取大量的数据？在s3存储桶中给出一个压缩的json文件。需要解压文件并解压缩

浏览 1提问于2020-10-27得票数 0

3回答

amazon-web-services、amazon-s3、tar

我在s3上有一个10G文件.tar文件，我想解压缩该文件，并将解压缩后的文件保存在s3上。有没有简单的命令可以对s3运行？或者我必须自己在本地解压文件，然后自己将单个文件上传回s3？谢谢

浏览 382提问于2018-12-28得票数 5

回答已采纳

1回答

AWS Lambda解压缩gzip文件w/o将文件保存在本地

amazon-web-services、amazon-s3、gzip、aws-lambda、unzip

我正在尝试从一个S3桶(.gzip)获取一个文件，并将它解压缩到另一个桶中。如果不将文件保存在本地(我的PC机)，我无法找到一种方法来完成它。有没有一种方法可以将文件保存在Lambda上并在S3上直接解压缩？谢谢!

浏览 3提问于2017-05-09得票数 2

回答已采纳

2回答

使用EC2解压S3中的文件

amazon-web-services

我用S3上传了一个非常大的文件。我需要解开它，但是我不知道怎么处理它。似乎有必要使用EC2。有没有人能告诉我，我必须怎么做？提前感谢

浏览 7提问于2016-04-04得票数 0

1回答

下载和解压Heroku和S3文件的流程？

ruby-on-rails、heroku、amazon-s3、zip

我正在处理苹果公司的iTunes EPF数据文件。我每天需要下载，解压，然后每天处理1-3 3GB的.tbz文件中的数据。我要下载的文件有3个。每个文件都是.tbz文件，大小从1 1GB到约2

浏览 4提问于2013-04-25得票数 1

3回答

通过托管在Heroku上的Rails上传和解压文件到S3？

ruby-on-rails、heroku、paperclip、unzip

我希望能够将包含大量图像的zip文件上传到我的Rails应用程序。然后我希望Rails解压这个文件，并通过将里面的图片附加到我的照片模型中，这样它们最终就会存储在我的亚马逊S3帐户上(通过Paperclip进行配置)。我想在托管在上的Rails站点上做这一切，不幸的是，它不允许任何类型的本地存储(据我所知)在回形针解析之前临时进行解压缩。我该怎

浏览 2提问于2010-08-09得票数 5

回答已采纳

1回答

如何在不将压缩文件下载到硬盘驱动器的情况下将数据集从压缩文件上载到s3桶？

amazon-web-services、amazon-s3

问题:我需要的数据在一个网站的压缩文件中，但是，压缩文件太大，无法下载到我的笔记本电脑上。我认为如何解决这个问题:将压缩文件上传到s3桶中，而不下载笔记本中的zip文件。目标:将zip文件放到s3桶上，解压缩s3桶上的文件，使用s3中的命

浏览 2提问于2019-08-29得票数 1

2回答

从SageMaker或S3将数据导入Amazon

amazon-web-services、amazon-s3、amazon-ec2、amazon-sagemaker

对于一个AI项目，我想在一个大约300 GB的数据集上训练一个模型。我想使用AWS SageMaker框架。在S3中直接解压缩。这可能是不可能做到的。直接上传未压缩

浏览 41提问于2022-10-18得票数 1

1回答

将文件从s3移动到电子病历并解压(Scala)

scala、amazon-web-services、apache-spark、amazon-s3

我在S3上有一个很大的.tar.gz文件，我想把它移动到EMR HDFS (或临时S3存储桶)并解压缩，这样我就可以读取里面的一些小文件了。我现在正在做的是有一个外壳脚本将文件从S3下载到本地(使用AWS CLI)，并让scala/spark作业在未压缩的下载文件上运行以生成一些结果。我想要做的是在一个Scala/Spark作业中做所有的工作，

浏览 1提问于2018-02-21得票数 1

2回答

在亚马逊S3上解压缩ZIP文件

java、amazon-s3、unzip

我正在上传压缩文件到亚马逊S3。现在我需要在S3上解压缩该文件。是否有任何命令，S3必须将其解压缩到那里。我正在使用JAVA将文件上传到S3。

浏览 0提问于2011-11-29得票数 7

回答已采纳

3回答

直接在AWS S3目标存储桶上运行java操作

amazon-web-services、amazon-s3

我们在我的工作中有以下工作流程：aws s3 cp --only-show-errors s3://bucket1unzip -q "/workspace将归档文件同步回s3目标存储桶正如您所看到

浏览 3提问于2017-09-05得票数 0

1回答

上传Zip到S3与Heroku，S3压缩，并允许其他人访问提取的文件与独特的链接

ruby-on-rails、heroku、amazon-s3

我有一个有趣的情况，用户上传一个压缩文件，该文件需要被移动到S3，解压缩，并通过一个独特的链接向其他用户公开。例如：这个是可能的吗？有谁

浏览 0提问于2012-11-02得票数 3

1回答

原始地址为S3的CloudFront未压缩

amazon-web-services、amazon-s3、amazon-cloudfront

我一步一步地遵循了亚马逊网络服务的指导方针，我在S3上添加了Content-Length报头到允许的报头中，但我仍然没有收到来自Cloudfront的解压缩响应直接来自S3的响应： ? 来自CloudFront的响应： ? CloudFront被配置为压缩对象 ? 只有来自google的原始文件被压缩： ? CORS S3设置：

浏览 48提问于2021-07-22得票数 0

回答已采纳

2回答

如何从s3解压缩文件并将其保存到s3上

java、amazon-s3、unzip、emr

我在S3上的桶中有一些S3文件。我需要解压缩并将其保存回没有本地文件系统的桶中。我有以下问题。我可以将存储桶/文件夹的路径传递给FileOutputStream(bucketPath)，这样它就可以直接

浏览 13提问于2015-12-25得票数 4

1回答

关于在s3上解压缩文件的Laravel建议

laravel、amazon-s3、laravel-5、unzip

我有一个表单，用户上传一个压缩文件。我正在使用文件系统。或我是否应该先解压缩文件，然后将它们上传到S3。压缩文件夹中有很多文件(大约500-600个小文件)，那么laravel是如何处理这么多文件的呢？系统会在上传文件的时间内继续吗?还是在后台继续？像队列

浏览 3提问于2016-02-11得票数 0

1回答

我刚刚将我的NodeJS webapp转换为无服务器模式，但我对如何描述对public/文件夹(图像、javascripts、样式表)的访问感到困惑。我看过{proxy+}和{id}的语法，但我读到的文档并不清楚这些语法是否适用于这种情况。如何确保我的public/{images, javascripts, stylesheets}中的所有资源在我的serverless.yml中的路径正确注意:我已经在serve

浏览 21提问于2020-05-14得票数 0

2回答

解压缩ec2上的文件并将其保存到S3？

amazon-web-services、amazon-ec2、amazon-s3

我有一个大约20 GB的压缩文件，其中包含大约400'000张图像，我可以使用wget将其移动到我的EC2实例中。现在我想解压缩这些文件并将它们保存到我的S3中。如果我不需要先把它们解压缩到ec2，那就更好了。我可以通过SSH以某种方式使用unzip -options将每个文件解压到S3吗？我已经找到了像这样的答案，。但我不明白他所说的“解压<

浏览 4提问于2014-04-09得票数 3

回答已采纳

1回答

如何在Heroku上存储上传的文件以供以后处理？

php、heroku、amazon-web-services、amazon-s3

我正在写一个PHP应用程序，将处理上传的文件。包含一些CSV、图像等的ZIP。如果在处理文件时出现警告/错误，则该过程需要用户输入，并且同一文件应可用于稍后重新处理。在普通服务器上，我使用文件系统来存储文件，然后将路径保存在我的数据库中。然而，在Heroku中我不能这样做。我正在使用亚马逊网络服务S3来存储其他上传的文件。我是否也应该将这些文件存储在<

浏览 0提问于2015-04-28得票数 0

1回答

提取.zip，然后使用Node.js将内容存储在S3中

node.js、amazon-s3、amazon-ec2

大多数关于NodeJS、S3和Zip的问题都与我想要做的相反。上传一个压缩包，并将文件解压缩到S3。我有一个在亚马逊EC2实例上运行的快速应用程序，带有Node.JS，它通过POST请求接受文件上传。其目的是上传一个充满图片的压缩文件，提取它们，并将每个单独的图片放在亚马逊S3上。我正在使用express.js接受发布的

浏览 0提问于2012-10-27得票数 1

回答已采纳

1回答

无法创建带有启用调试的aws emr群集

aws-cli

当我添加命令“--启用-调试”时，我无法创建aws emr集群--我能够在没有启用调试命令的情况下创建集群。获取错误，如: aws: error:选项的无效json参数--配置aws emr create-cluster \ --release-labelno-auto-terminate \ --visible-to-all-users \ --use-default-roles \

浏览 4提问于2017-05-10得票数 1

回答已采纳

点击加载更多

我们如何从s3存储桶上的json压缩文件中提取大量的数据？