对从s3下载的压缩文件进行解码
对从S3下载的压缩文件进行解码，可以使用以下步骤：
- 首先，需要确定下载的压缩文件的格式。常见的压缩文件格式包括ZIP、GZIP、TAR等。根据文件格式的不同，选择相应的解码方法。
- 如果下载的压缩文件是ZIP格式，可以使用常见的ZIP解压库或工具进行解压缩。例如，可以使用Python的zipfile库或Linux系统的unzip命令。解压后的文件将被还原为原始的文件或文件夹。
- 如果下载的压缩文件是GZIP格式，可以使用gzip库或gunzip命令进行解压缩。解压后的文件将是原始文件的副本。
- 如果下载的压缩文件是TAR格式，可以使用tar命令或tarfile库进行解压缩。解压后的文件将还原为原始的文件或文件夹。
- 解压缩后的文件可以根据需要进行进一步处理。例如，如果是文本文件，可以使用文本编辑器或编程语言进行读取和处理。如果是图像、音频或视频文件，可以使用相应的库或工具进行处理。
在腾讯云的产品中，可以使用对象存储服务 COS（腾讯云对象存储）来存储和下载文件。COS提供了丰富的API和SDK，可以方便地进行文件的上传、下载和管理。具体的使用方法和示例可以参考腾讯云COS的官方文档：腾讯云COS产品介绍。
需要注意的是，以上提到的解码方法和腾讯云的产品仅为示例，实际应用中可以根据具体需求选择适合的解码工具和云服务。
相关·内容
1回答
可以直接从S3提供下载链接吗？我有一些很大的压缩文件，我不想传输到我的站点实例中，我更喜欢在S3之外提供服务。有没有办法基本上让一个按钮直接从S3开始下载？
我不关心是否对用户隐藏S3 url。
浏览 0提问于2016-11-16得票数 1
3回答
我有一个网站，允许用户搜索音乐曲目，并下载他们选择的mp3。
我把网站放在我的服务器上，所有的mp3s都放在s3上，然后通过cloudfront分发。到目前一切尚好。
客户端现在希望用户能够选择多个音乐曲目，然后批量或批量下载它们，而不是一次下载一个。
通常，我会将所有文件放在一个zip中，然后向用户显示一个指向要下载的新zip文件的链接。在这种情况下，因为文件在s3上，所以我需要首先将所有文件从s3复制到我的then服务器上，然后将它们处理成压缩文件，然后从我的服务器下载。
有没有什么办法可以在s3或CF上创建压缩文件，或者有什么方法可以将文件批处理/分组到压缩文件中？
也许我可以设置一个E
浏览 2提问于2011-09-18得票数 3
2回答
我有一个应用程序，它需要从保存在S3上的不同对象创建一个压缩文件。我面临的问题是，我想在不下载文件的情况下动态压缩对象并进行压缩。原因是文件的大小可能相当大，而且我可以很容易地耗尽磁盘空间，当然，在磁盘上下载文件、压缩文件并再次将压缩文件上传到s3会有额外的往返时间。
值得一提的是，我希望在输出压缩文件中找到不同目录中的文件，这样当用户解压该文件时，可以看到它存储在不同的文件夹中。
由于S3没有物理文件夹结构的概念，我不确定这是否可行，是否有比下载/上传文件更好的方法。
注意事项
我的问题不是如何使用导出一组大文件。这是关于如何从S3导出文件，而不需要在本地磁盘上下载对象，并创建一个压缩文件并
浏览 1提问于2019-09-26得票数 0
1回答
我们有注入压缩文件夹内的文本文件的要求，这是存储在S3中。
我们有应用程序在Jetty上运行。当我们的一个端点被调用时，我们需要在zip文件夹中注入一个文本文件，该文件存储在S3中，并共享s3 url(zip文件夹位置)，以便调用者可以下载zip。
问:有没有什么api可以让我们从s3 bucket的压缩文件夹中插入文本文件，并从托管在jetty上的应用程序访问s3 bucket压缩文件夹。
浏览 1提问于2015-05-21得票数 0
问题:我需要的数据在一个网站的压缩文件中，但是，压缩文件太大，无法下载到我的笔记本电脑上。
我认为如何解决这个问题:将压缩文件上传到s3桶中，而不下载笔记本中的zip文件。
目标:将zip文件放到s3桶上，解压缩s3桶上的文件，使用s3中的命令行查看解压缩文件的内容，从中提取CSV (或其他类型的可转换为CSV的数据)。
我认为可以解决这个问题的方法是:使用AWS从网站获取zip文件，从而在AWS上创建一个临时存储空间；将来自AWS的文件放入s3桶中；在s3上解压缩文件；探索s3桶上解压缩文件的内容；将需要的内容提取到另一个s3桶中，然后使用从SageMaker上解压缩的文件中选择的内容。
浏览 2提问于2019-08-29得票数 1
是否可以在不下载S3桶的情况下获得未压缩和压缩大小的文件？
在S3上，我有大约750个压缩文件，从650 GB到1.2GB不等，我希望获得压缩和未压缩的聚合文件大小。我可以下载它们并使用如下工具：
gzip -l *gz
但我必须先下载，这似乎是很多工作才能得到总尺寸。
浏览 8提问于2017-01-29得票数 1
回答已采纳
当使用Huffmann编码压缩文件时，在将Huffmann代码分配给文件中的每个字符之后，这些字符应该在压缩文件中被替换为等效的Huffmann代码。然后，在解压缩文件时，如何使用哈夫曼代码从压缩文件中提取等效字符。压缩文件是否包含一些额外的信息来解码赫夫曼代码？
浏览 2提问于2018-12-01得票数 0
回答已采纳
1回答
我在使用来自S3的iter_chunks()方法从boto3读取的字节块未压缩时遇到问题。逐块解压缩文件的策略起源于this issue。 代码如下： dec = zlib.decompressobj(32 + zlib.MAX_WBITS)
for chunk in app.s3_client.get_object(Bucket=bucket, Key=key)["Body"].iter_chunks(2 ** 19):
data = dec.decompress(chunk)
print(len(chunk), len(data))
# 524288 6
浏览 26提问于2020-04-06得票数 1
回答已采纳
难以确定独立的版本的gsutil (可以从：下载的压缩文件)是否支持使用(AWS安全令牌服务(STS)和assume_role)从S3存储桶下载？
我在Windows 7上，我想知道.boto文件会是什么样子，这样assume_role才能从s3桶中提取？
谢谢
浏览 1提问于2018-07-16得票数 0
回答已采纳
3回答
有没有办法提供一个单一的网址，让用户从一个S3路径下载所有内容？
否则，有没有办法递归地创建一个包含S3路径上所有文件的压缩文件？
即。my-bucket/media/123/*
每条路径通常都有1K+图像和10+视频。
浏览 0提问于2018-08-29得票数 1
使用aws-php-sdk从s3存储桶中读取csv.gz文件。所有的文件都是csv.gz文件，我计划读取这些文件，然后将数据导入我的数据库。
我已经查看了许多堆栈溢出问题，但似乎无法使其正常工作。
以下是我到目前为止编写的代码。
$s3 = new S3Client([
'version' => 'latest',
'region' => 'us-east-2',
'credentials' => [
'key' => '
浏览 4提问于2020-07-01得票数 0
2回答
我有一个s3桶，它有一个大的no压缩文件，其大小在GB中。我需要计算所有压缩文件的数据长度。我通过了boto3，但没有得到它。我不确定它是否能直接读取压缩文件，但是我有一个进程-
接上水桶。
从bucket文件夹读取zip文件(假设文件夹是Mydata)。
将压缩文件解压缩到另一个名为Extracteddata的文件夹。
读取Extracteddata文件夹并对文件执行操作。
注意:任何东西都不应该下载到本地存储上。所有进程都在S3上进行到S3。如有任何建议，敬请见谅。
浏览 0提问于2018-07-31得票数 1
回答已采纳
1回答
我想下载一个压缩文件(在gzip或bzip2中)，解压缩它并分析它的内容(它是一个具有大量数据的类似CSV的文件，我在下载时计算和、平均值等)(这样我就可以在下载结束之前显示部分结果)。文件很大(4GB)，解压缩流更大，所以我不想将整个压缩文件保存在磁盘或内存中。
我认为可以将python的gzip或bz2实现与urllib2结合起来：
data_stream = csv.reader(
gzip.GzipFile(
fileobj=urllib2.urlopen('http://…/somefile.gz
浏览 8提问于2013-03-22得票数 3
回答已采纳
我对实现文件下载几乎没有什么疑虑。我正在创建一个应用程序，其中我使用亚马逊s3的attachment_fu上传文件。到目前为止，上传端的事情运行得很好。现在是开始下载文件的时候了。这是我需要的，一个登录的用户搜索和浏览图片，他们应该能够添加文件到一个下载篮子(让我们说这是一个下载购物车)。最后，用户应该能够从S3下载这些文件，可能是压缩文件。
有没有什么插件/gem可以用来做这件事？
浏览 1提问于2010-03-08得票数 3
回答已采纳
2回答
批量压缩(Zip)文件
、、、、
使用:我们的用户在我们的AWS S3帐户中有许多对象。我们正在添加一个功能，以下载整个项目在一次。我们更关心的是效率，而不是储存。
在研究了不同的选项(ZipArchive，PclZip)之后，我偶然发现推荐使用Chilkat。
它的方法很有意义，并总结如下：
在上传时预压缩每个文件并将其存储在S3中
“项目下载”开始下载每个压缩文件，然后是QuickAppend (Chilkat术语)，然后“立即”(每个文件200 to )将它们添加到整个压缩文件中。
将新的Zip文件上载到S3，提供链接
我遇到的问题是Chilkat的许可证是249美元，我正在寻找免费的替代品。
(也
浏览 2提问于2014-03-14得票数 8
2回答
我有一个基于批处理的微服务，它每隔一个特定的时间间隔运行一次chronos作业，我必须对其进行性能测试。此微服务不返回任何响应，但从亚马逊S3下载压缩文件，提取它们并将压缩文件上传到亚马逊S3。我从事JMETER的工作，以测试Web应用程序的性能。我可以使用JMeter对这个批量微服务进行性能测试吗？如果是，我要做些什么？
浏览 0提问于2017-03-06得票数 0
2回答
我有大约1 1GB的数据，我的客户想以压缩文件的形式从我的门户下载，但在后端，这些文件是由亚马逊网络服务S3提供的。
目前我正在下载所有文件到内存流并将其压缩，这需要很多时间，有时它会超时，客户端不确定请求是否正在处理，因为我在浏览器中没有下载进度。
那么有没有从S3下载压缩的海量数据的最佳解决方案呢
谢谢
浏览 1提问于2018-10-01得票数 0
1回答
我正在从亚马逊S3下载一个压缩文件。然后，我将这个zip转换为MemoryStream。我的代码在下面
AmazonS3Client s3Client = new AmazonS3Client(basicAwsCredentials, Amazon.RegionEndpoint.GetBySystemName(item.RegionEndPoint));
//This operation needs about 3-4s
response = await s3Client.GetObjectAsync(request);
var memoryStream = new MemoryStream
浏览 4提问于2016-03-04得票数 2
回答已采纳
使用Laravel，我正在尝试制作一个函数，可以从S3下载一个目录中的所有文件。
我曾经使用$file = Storage::disk('s3')->allFiles('path');检索文件的所有密钥，但我不知道下一步该做什么。
似乎我必须将所有文件下载到本地，然后压缩这些文件，然后下载该压缩文件。我想知道是否有更好的方法。
任何建议或建议都将不胜感激。
浏览 21提问于2018-02-09得票数 3
回答已采纳
我在一个s3桶中有压缩文件，我需要解压缩它们，并将解压缩的文件夹复制到另一个s3桶，并保持源路径。
例如，如果在源桶中，压缩文件在下面
"s3://bucketname/foo/bar/file.zip"
那么在目标桶中，它应该是"s3://destbucketname/foo/bar/zipname/files.."
怎么做呢？我知道用lambda是有可能的，所以我不需要在本地下载，但是我不知道如何下载。
谢谢！
浏览 0提问于2019-02-27得票数 1
1回答
从亚马逊S3桶下载时的解码问题
、、、、
我试图从亚马逊的S3桶中接收一个CSV文件，如下所示：
s3 = boto3.client('s3')
obj = s3.get_object(Bucket='BUCKET_NAME', Key='FILE_NAME')
data = obj['Body'].read().decode('utf-8').splitlines()
但我得到的是：
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x94 in position 10: i
浏览 3提问于2021-10-11得票数 0
1回答
我正在使用领域(Sync)作为后端在iOS上开发一个iOS应用程序。我一直在关注关于o鱼()的文章，以使用户能够在离线时附加图片。
我的照片模型：
class Photo: Object, ObjectKeyIdentifiable {
@Persisted(primaryKey: true ) var _id: ObjectId
@Persisted var picture: Data?
@Persisted var pictureUrl: String
convenience init (pictureUrl: String = "", picture: Data?
浏览 0提问于2022-08-18得票数 1
回答已采纳
2回答
使用Java代码，我正在创建一个zip文件
然后，我们使用不同的web服务/ web应用程序将zip文件上传到AWS S3。
现在，我想验证zip是否包含某些文件夹来验证预期的zip结构。
目前，我正在将zip文件上载到我的应用服务器，然后验证zip结构，并在验证后将其上载到S3。
我想要的是在没有验证的情况下直接将zip上传到S3。
接下来，我喜欢触发lambda函数，在lambda函数中，我喜欢验证zip结构。
问题：-
可以从S3下载压缩文件lambda进行处理吗？压缩文件的大小可以超过1GB。
浏览 1提问于2018-03-02得票数 2
我有一个从s3存储桶下载的压缩文件夹。现在，我的代码中有了一个json文件，我想使用node js代码将我的JSON文件添加到现有的zip文件中。
在node js中有没有预先存在的模块来做这件事？
我尝试了，但我无法将文件添加到现有的压缩文件夹中。
对此有什么想法吗？
浏览 0提问于2018-04-05得票数 1
我在terraform上工作，我在使用terraform从s3下载压缩文件到本地时遇到了问题。使用zip文件创建lambda函数。有没有人能帮个忙。
浏览 24提问于2020-02-04得票数 0
2回答
我有一个压缩文件，我希望用户能够下载。诀窍是我不想让用户看到url是什么，也不想把文件下载到我的服务器上。
所以我希望用户点击这样的链接：
http://example.com/download/4
哪个服务器端使用这个url访问我的S3桶：
https://s3.amazonaws.com/my-bucket/uploads/4.zip
我尝试过cURL，使用了S3方法，并在S3函数中使用了各种headers()，但无法使其工作。这一定很容易，对吧？
浏览 0提问于2014-06-08得票数 0
回答已采纳
嗨，Stackoverflow社区，
我试图只将澳大利亚的google文件从： (可在：上获得)导入Python中。然而，google现在提供了一个包含所有csv文件的文件夹。
我想知道是否有人能为我指出一个正确的方向如何导入一个文件在一个压缩文件夹在线。
我想实现这‘不下载’的压缩文件夹到我的电脑，然后导入AUS csv。想知道是否有一种方法可以使用代码来完成所有这些操作，所以每次我运行代码时，python都会从URL获取最新的AUS文件。
谢谢
浏览 1提问于2021-09-13得票数 0
回答已采纳
1回答
我正在尝试从S3存储桶中获取最新的压缩文件，但是当我尝试复制到本地目录时，它给出了错误未知选项
$ KEY=`aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'`
$ aws s3 cp s3://$BUCKET/$KEY z:/location/folder/$key(filename)
但在给定未知选项z:/location的情况下出现错误
谢谢
浏览 3提问于2021-04-09得票数 0
1回答
我有一个与.zip和.gz文件保持更新的s3存储桶。我对该存储桶具有只读权限。我想解压压缩文件并将它们移动到另一个s3存储桶中。但我在AWS CLI中看不到任何解压压缩文件的命令。我可以使用unix命令来做同样的事情吗？我已经阅读了aws s3 cli：
浏览 1提问于2015-10-19得票数 0
3回答
到目前为止，这些文件只是像下面这样单独下载，而不是全部放在一个压缩文件中：
s3client = boto3.client('s3')
T.download_file(‘firstbucket’，obj‘’Key‘，filename)
浏览 0提问于2017-03-23得票数 1
我所做的是尝试从s3桶下载大型数据压缩文件。
S3ObjectInputStream inputStreams = s3object.getObjectContent();
File newFile = new File(zipFileTempLocation + File.separator + CommonConstant.FILE_NAME);
FileOutputStream fileOutputStream = new FileOutputStream(newFile);
GZIPInputStream gzipInp
浏览 1提问于2021-03-11得票数 0
我正在尝试创建一个安装程序，它执行以下操作：
从s3下载一个大压缩文件
从我的服务器下载动态生成的配置文件
从s3解压缩配置文件并将其修补到原始文件
从结果目录执行特定文件
我是这方面的新手，所以我不知道从哪里开始。到目前为止，我可以想象这样做是作为一个shell脚本(但甚至不确定这是一个可行的选择，或如果有更好的方法这样做)
浏览 1提问于2016-06-29得票数 0
回答已采纳
1回答
我有一个简单的文本文件，我想在压缩文件夹亚马逊S3存储更新文件，有没有办法做到这一点，而不下载压缩文件夹？
浏览 2提问于2015-12-23得票数 0
3回答
我在S3中的某个位置(比如/foo/ bar.zip )上传了一个压缩文件，我想提取bar.zip中的值并将其放在/foo下，而不需要下载或重新上传提取的文件。我如何才能做到这一点，这样S3就像对待文件系统一样
浏览 0提问于2015-02-03得票数 21
回答已采纳
我希望将我的所有文件都保存在亚马逊S3上，并在需要时只保存压缩目录，而不是需要从S3下载所有文件，将其压缩，然后将压缩文件上传到S3。
目前，我下载我的文件并将其压缩以上传。搜索此问题时，我没有找到任何内容。
浏览 2提问于2019-07-19得票数 0
我有一个网页在网站托管和图像存储在亚马逊S3。我希望使用php可以通过我的网页在一个zip文件中从亚马逊S3下载多张图片。
我的选择是什么，最好的是什么？
据我所知，不可能在S3上压缩文件。我能用亚马逊兰巴吗？
我遇到过最好的解决方案。
用户在我的网站上选择他们想要下载的图片。
我从web主机上的数据库中获取文件名，并将图像从S3下载到web主机上的一个临时目录。
在临时目录中创建zip文件，并将链接发送给用户。过了一段时间后，我清除了我的web主机上的临时目录(带有脚本)。
但是，如果有一种方法没有通过我的托管程序来创建和下载zip文件，那就太好了。
浏览 1提问于2015-03-01得票数 5
我有存储在s3中的压缩文件，然后我有一个["s3://mybucket/file1.zip", ..., "s3://mybucket/fileN.zip"]列表，我需要使用Spark集群解压缩所有这些文件，并将所有的CSV文件存储到一个增量格式表中。我想知道一种比我目前的方法更快的处理方法：
1)我有一个用于的桶，用于迭代我的Python。
2)我正在使用PythonBoto3 s3.bucket.Object(file)从Boto3获得压缩文件
3)我正在使用下一段代码解压缩文件
import io
import boto3
import shutil
im
浏览 0提问于2019-10-30得票数 6
我有一个设备连接到IOT核心，并通过IOT分析发送数据进行处理。将数据集导出到S3桶。S3存储桶设置为公共，加密禁用，并且具有允许公共访问的桶策略，但是每次从ignoring更新数据集时，它都被加密，忽略了我的桶级设置。我已经测试过，如果我手动地将一个文件上传到桶中，那么这个策略是可以正常工作的，所以似乎是造成了这种情况，但是似乎没有任何选项可以在控制台中管理它。
有什么建议吗？
浏览 5提问于2022-07-23得票数 0
1回答
我有一个名为combine.gz的文件，需要从s3上的子文件夹下载。我能够找到combine.gz文件(特别是每个目录一个)，但我无法在boto中找到将.gz文件读取到本地计算机的方法。
我能找到的只有boto.utils.fetch_file、key.get_contents_to_filename、key.get_contents_to_file方法，据我所知，所有这些方法都是直接流式传输文件内容的。
有没有办法让我先用boto从S3读取.gz格式的压缩文件到我的本地机器上，然后再解压缩？
任何帮助都将不胜感激。
浏览 0提问于2015-05-02得票数 0
我在用python编写的火花代码中有一个输出RDD。我想把它保存在亚马逊的S3中，作为压缩文件。我试过以下功能。下面的函数正确地以s3格式保存输出rdd，但不以gzipped格式保存。
output_rdd.saveAsTextFile("s3://<name-of-bucket>/")
下面的函数返回错误：：TypeError: saveAsHadoopFile()至少有3个参数(3个给定)
output_rdd.saveAsHadoopFile("s3://<name-of-bucket>/",
浏览 1提问于2016-02-08得票数 0
1回答
我想下载多个文件从亚马逊s3压缩文件，同时点击单个下载按钮。
我想用php或JavaScript来实现。
我看了很多解决方案，比如:在aws cli中使用递归，在飞行中使用Zipstream，但我没有得到任何适当的解决方案。
您是否有其他更有效的解决方案的想法？
浏览 8提问于2018-01-03得票数 5
我的网站允许用户上传我存储在亚马逊S3上的照片。我存储原始上传以及优化的图像和缩略图。我想让用户能够导出他们的所有原始版本时，他们的订阅到期。因此，我认为会出现以下问题
可能是大量的数据(可能是10 or左右)--如何管理下载过程--例如，如果它被中断，从哪里开始，如何验证文件的成功下载--如果这是用单个文件完成的，或者尝试压缩文件并下载成一个文件或一系列较小的压缩文件。
有什么我可以用的工具吗？我见过Fzip，它是一个处理zip文件的Actionscript库。我有一个处理文件上传的EC2实例，因此也可以使用它来下载--例如将文件从S3复制到EC2，然后通过Flash将它们下载到用户，使用F
浏览 0提问于2010-07-27得票数 2
1回答
我在.gz桶中有一组s3压缩文件。我想在.gz文件中下载csv文件。我试图提取.gz文件并将其放入s3Object中。现在，我需要提取s3对象并使用java下载其中的csv文件。请advise.This是我能下载used.Now文件的代码。但是我需要在gz里面下载csv文件。
S3Object object = s3Client.getObject(“bucket”,“Location/file.gz”);
final String encoding = null;
return ResponseEntity.ok(IOUtils.toString(object.getObjectConten
浏览 0提问于2018-05-20得票数 0
回答已采纳
我遇到了一种情况，我被录制了一个视频通过博览会/反应-本土化，并上传到一个s3桶。但是，当我访问浏览器中的s3链接时，视频将不会播放。但是，如果我先下载，视频将在VLC媒体播放器中播放。我不知道为什么视频不播放在铬(或任何其他浏览器)。预期的行为是链接将在浏览器中播放。
复制步骤：
本机录制视频(这将通过使用博览的file)"Convert“()将该文件保存为.mov .mov .mp4，将该文件重命名为.mp4Upload to s3 (在浏览器中使用mime类型 s3链接：)。
但是，如果我下载视频并在VLC中打开它，它就会播放得很好。有人知道这是怎么回事吗？
注:我受此
浏览 2提问于2020-04-16得票数 0
回答已采纳
2回答
我正在开发一个Angular / JavaScript应用程序：
有没有办法从一个S3存储桶中压缩和下载多个文件。
或
将选定的文件复制到动态文件夹中，并从S3存储桶中以压缩文件的形式下载该文件夹。
浏览 35提问于2020-06-01得票数 1
1回答
我想对s3中压缩文件夹中的文件编写一些验证代码。我拉开拉链有点困难。我试着下载它，然后解压缩，然后上传，但这个过程需要很多时间。有没有什么方法可以在不下载和上传的情况下做到这一点？
浏览 0提问于2019-09-19得票数 0
2回答
我从oracle主页下载了JavaFx预览版。这是一个压缩文件，我想知道如何在Ubuntu 12.04 pc上安装它。
浏览 0提问于2012-05-05得票数 4
回答已采纳
1回答
在我的S3存储桶中，每天大约生成60个CSV文件。每个文件的平均大小约为500MB。我想通过lambda函数动态压缩所有这些文件(而不是在Lambda执行中下载文件)，并将这些压缩文件上传到另一个s3存储桶中。我遇到了这些解决方案1和2，但我仍然在实现中遇到问题。现在，我正在尝试将CSV文件数据流式传输到一个压缩文件(这个压缩文件是在Lambda tmp目录中创建的)，然后上传到s3。但是我在写入压缩文件时收到这个错误信息：[Errno 36] File name too long 这是我的测试Lambda函数，我只是尝试处理一个文件，但在实际情况下，我需要单独压缩50-60个CSV文件：
浏览 25提问于2020-12-28得票数 1
回答已采纳
我有一个S3存储桶，里面装满了没有文件扩展名的Gz文件。例如s3://mybucket/1234502827-34231
sc.textFile使用该文件扩展名来选择解码器。我发现了许多关于处理自定义文件扩展名的博客文章，但没有任何关于缺少文件扩展名的内容。
我认为解决方案可能是手动使用sc.binaryFiles并解压缩文件。
另一种可能是找出如何找到文件格式。我不清楚这些classOf[]调用是如何工作的。
def textFile(
path: String,
minPartitions: Int = defaultMinPartitions): RDD[St
浏览 0提问于2016-10-27得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
