使用Pandas从python中的S3读取.h5文件时的FileNotFoundError
使用Pandas从Python中的S3读取.h5文件时的FileNotFoundError是由于以下原因导致的：
- 文件路径错误：首先，需要确保提供的S3文件路径是正确的。S3文件路径应该以"s3://"开头，后面跟着存储桶的名称和文件的完整路径。例如，"s3://bucket-name/path/to/file.h5"。请检查路径是否正确，并确保文件存在于指定的S3存储桶中。
- 访问权限问题：如果您没有足够的权限来访问S3存储桶或文件，将会导致FileNotFoundError。请确保您具有适当的权限来读取S3存储桶中的文件。您可以通过AWS Identity and Access Management (IAM) 来管理访问权限。
- 区域设置不匹配：如果您的S3存储桶位于特定的AWS区域，而您的代码运行在不同的区域，可能会导致FileNotFoundError。请确保您的代码运行在与S3存储桶相同的区域中，或者使用适当的区域设置进行访问。
解决上述问题后，您可以使用Pandas的read_hdf函数来读取S3中的.h5文件。以下是一个示例代码：
import pandas as pd
s3_path = "s3://bucket-name/path/to/file.h5"
df = pd.read_hdf(s3_path, key='key_name')在上面的代码中，将"s3://bucket-name/path/to/file.h5"替换为您实际的S3文件路径。read_hdf函数用于读取.h5文件，key参数指定要读取的数据集的键值。
腾讯云提供了对象存储服务 COS（Cloud Object Storage），您可以使用腾讯云 COS 存储您的文件，并通过腾讯云 SDK 进行访问和操作。您可以使用腾讯云 COS SDK for Python 来读取和写入文件。有关腾讯云 COS 的更多信息和产品介绍，请访问腾讯云官方网站：腾讯云对象存储 COS
请注意，以上答案仅针对使用Pandas从Python中的S3读取.h5文件时的FileNotFoundError问题，如果还有其他问题或需求，请提供更多详细信息以便给出更准确的答案。
相关·内容
由于某些原因，当我尝试使用pandas.read_hdf()方法从S3读取hdf文件时，当我放置一个s3 url时得到一个FileNotFoundError。这个文件确实存在，我尝试过在同一个s3目录中对csv文件使用pandas.read_csv()方法，而且效果很好。还有什么我需要做的吗？代码如下： import boto3
import h5py
import s3fs
import pandas as pd
csvDataframe = pd.read_csv('s3://BUCKET_NAME/FILE_NAME.csv', key='df')
p
浏览 45提问于2019-12-18得票数 2
1回答
我有一个项目，需要将数据帧写入s3存储桶中的xlsx。通过df= pd.read_excel(' s3 ://path/file.xlsx')从pandas加载一个文件非常简单。
但是向s3写入文件会给我带来问题。
import pandas as pd
# Create a Pandas dataframe from the data.
df = pd.DataFrame({'Data': [10, 20, 30, 20, 15, 30, 45]})
# Create a Pandas Excel writer using XlsxWriter as
浏览 4提问于2018-12-01得票数 3
2回答
我试图在AWS S3中保存熊猫的df类物体，并在木星笔记本中检索它。在我的解决方案中，我必须能够从其中检索单个列，因此.csv不是很好的解决方案。我考虑使用.h5文件，保存数据并将其存储在S3中，但当我尝试调用：
pd.read_hdf('https://mytests3h5storage-123.s3.amazonaws.com/iris.h5')
我得到了：
FileNotFoundError:文件不存在
我百分之百肯定那个文件存在。
我发现其他人也有同样的问题，所以可能没有实现。有什么好办法解决这个问题吗？我需要检索Lambda中的单个列(或很少)，并在那里使用它。
浏览 5提问于2021-04-09得票数 1
回答已采纳
1回答
目标：我想读取*.zip文件中包含的CSV文件
我的问题是Python在没有文件的情况下起作用。
FileNotFoundError: [Errno 2] No such file or directory: 'N:\\l\\xyz.zip'
我使用的代码如下(使用windows机器)：
import pandas as pd
data = pd.read_csv(r"N:\l\xyz.zip",
compression="zip")
有什么需要帮忙的吗？
data = pd.read_csv("N:\
浏览 0提问于2018-10-04得票数 0
回答已采纳
我知道从S3存储桶将.csv文件加载到sagemaker notebook非常简单，但我想加载存储在S3存储桶中的model.tar.gz文件。我试着做了以下事情
import botocore
import sagemaker
from sagemaker import get_execution_role
from sagemaker.predictor import csv_serializer
import boto3
sm_client = boto3.client(service_name='sagemaker')
runtime_sm_client = bot
浏览 21提问于2020-02-05得票数 4
回答已采纳
2回答
目前，我正在处理一个AWS notebook实例，并尝试将我的工作目录更改为一个SageMaker S3存储桶。我使用了以下代码：
os.chdir('s3://bucket-name')
生成的错误是：FileNotFoundError: [Errno 2] No such file or directory: 's3://bucket-name'，但我使用以下代码上传了一个CSV文件，它可以工作：
import boto3
import pandas as pd
from sagemaker import get_execution_role
role =
浏览 6提问于2019-07-21得票数 1
回答已采纳
代码是解压s3服务器中存在的压缩文件。代码运行在数据库、python版本:3和pandas===0.19.0中 zip_ref = zipfile.ZipFile(path，mode='r')上面的行抛出错误，如下所示。FileNotFoundError: Errno 2没有这样的文件或目录:路径 请让我知道为什么这行抛出错误，尽管路径是正确的。或者有没有办法在不解压的情况下读取Zip文件夹中的内容。
浏览 18提问于2019-04-10得票数 0
我有标题为'STOP_REPORT_TEST_2012‘的XLS工作表文件和我的代码文件(ipynb)也在同一个文件夹中。当我尝试在我的笔记本中加载数据时，它给出了这样的FileNotFoundError: Errno 2没有这样的文件或目录：'STOP_REPORT_TEST_2012.csv'：
import pandas as pd
df = pd.read_csv('STOP_REPORT_TEST_2012.csv')
---------------------------------------------------------------
浏览 3提问于2021-08-06得票数 0
使用spark编写文件s3通常会创建两个文件成功的目录，另一个文件名以s3中具有实际数据的部分名称开头，如何使用pandas dataframe加载相同的文件，因为文件路径会发生变化，因为文件名与实际数据在每次运行中都不同。 例如，编写时的文件路径: df。写。\testfolder.csv(“s3”colaesce) 存储在目录中的文件是成功的part-00- 我有一个python作业，它将文件读取到pandas dataframe。 Pd.read(s3.what是此处指定的路径.)
浏览 8提问于2020-07-26得票数 0
3回答
我需要用python中的boto3从S3存储桶中读取多个csv文件，最后在pandas中将这些文件合并到单个数据帧中。
我能够从以下python脚本中读取单个文件
s3 = boto3.resource('s3')
bucket = s3.Bucket('test-bucket')
for obj in bucket.objects.all():
key = obj.key
body = obj.get()['Body'].read()
下面是我的道路
files/splittedfiles/Code-345678
在Co
浏览 2提问于2018-10-17得票数 6
我想读取以前用h5创建的一个PyTables文件。
该文件是使用Pandas读取的，并且有一些条件，如下所示：
pd.read_hdf('myH5file.h5', 'anyTable', where='some_conditions')
从另一个问题中，我被告知，为了使h5文件具有read_hdf's where参数的"queryable“，必须在table format中写入它，此外，还必须将某些列声明为data columns。
我在PyTables文档中找不到任何关于它的信息。
PyTable的create_table方法
浏览 1提问于2015-11-02得票数 1
使用spark写一个文件s3通常会创建一个有11个文件成功的目录，另一个文件名以s3中有实际数据的部分名称开头，如何使用pandas dataframe加载相同的文件，因为文件路径会改变，因为所有10个有实际数据的文件在每次运行中解析的文件名都会不同。
例如，编写时的文件路径：
df.colaesce.(10).write.path("s3://testfolder.csv")
存储在目录中的文件包括：
- sucess
- part-00-*.parquet
我有一个python作业，它将文件读取到pandas dataframe。
pd.read(s3\\.........
浏览 0提问于2020-08-17得票数 0
我正在使用boto3 +熊猫阅读s3的csv。我得到了一个响应和一个字节流，然而，当我试图在熊猫中阅读它时，我看到了一个空的dataframe错误。
import boto3
import pandas as pd
client = boto3.client(
's3',
aws_access_key_id="xxx",
aws_secret_access_key="xxx",
)
key = 'Dir/filename.csv'
result = client.get_object(Bucket=
浏览 4提问于2022-11-17得票数 1
回答已采纳
我正在尝试从目录(尤指p)中读取所有优秀的文件。Test_File.xlsx)。当我只想看到终端上的文件时，代码就可以工作了，但是当我试图将所有的TEST_Files.xlsx附加到一个Test4.xlsx中时，它会产生一个错误(回溯)。
错误信息：
File "Excel_Script3.py", line 16, in <module>
data = pd.read_excel(filename, 'Sheet1')
File "/Users/ItsMyFuckingSystem/miniconda3/lib/python
浏览 4提问于2016-04-06得票数 0
回答已采纳
3回答
我正在尝试创建一个Lambda函数，它将自动清除S3桶中的csv文件。S3桶每5mn接收一次文件，因此我为Lambda函数创建了一个触发器。为了清理csv文件，我将使用熊猫库创建一个数据文件。我已经安装了一个熊猫层。在创建dataframe时，会出现一条错误消息。这是我的密码：
import json
import boto3
import pandas as pd
from io import StringIO
#call s3 bucket
client = boto3.client('s3')
def lambda_handler(event, context):
浏览 16提问于2022-06-04得票数 1
回答已采纳
我有一个名为my_bucket的存储桶和一个名为Images的文件夹。我正在尝试读取Image文件夹中的文件(图像)。
file = pd.read_csv(some_csv_file)
X = file.values[:,0]
role = get_execution_role()
bucket='my_bucket'
data_key = 'Images'
data_dir = 's3://{}/{}'.format(bucket, data_key)
s = '/'
for img_name in X:
seq
浏览 2提问于2018-06-08得票数 1
早上好，昨天我保存了一个从SageMaker conda_python3到S3的文件，如下所示：
s3 = boto3.client(
's3',
aws_access_key_id='XXXX',
aws_secret_access_key='XXXX'
)
y = pandas.DataFrame(df.tag_factor,index = df.index)
s3.put_object(Body = y.values.tobytes(), Bucket=
浏览 0提问于2018-12-14得票数 1
我开发了一个AWS，它是在'eu-west-1‘区域的s3事件(文件创建)上触发的。这个lambda读取触发它的"csv“文件，然后处理它(因此它存在！)总执行时间最多为4秒。文件大约每10秒到达一次，而且几周来一直运行得很好。今天，在20分钟内，当lambda读取触发它的文件时，"FileNotFoundError“异常系统地导致了一个错误。几分钟后，当我手动重新上传生成错误的文件时，lambda成功运行。
下面是lambda代码的示例：
import pandas as pd
import boto3
...
def lambda_handler(event,
浏览 3提问于2020-09-10得票数 1
回答已采纳
我用熊猫制作了一个数据格式，并使用了to_parquet(.)直接写信给s3。
论点如下：
df.to_parquet('s3://bucket/fn.parquet', compression='gzip', engine='fastparquet', partition_cols=['col1'])
当我使用熊猫的pandas.read_parquet(url)时，数据就会很好地装载。
但是，当我使用modin.pandas.read_parquet(url)时，我会得到以下错误：
File "/home/mguo/
浏览 1提问于2021-06-23得票数 4
2回答
我在Amazon Cloud的S3存储桶中有几个CSV文件(50 GB)。我正在尝试使用以下代码在Jupyter Notebook (带有Python3内核)中读取这些文件：
import boto3
from boto3 import session
import pandas as pd
session = boto3.session.Session(region_name='XXXX')
s3client = session.client('s3', config = boto3.session.Config(signature_version='
浏览 14提问于2018-02-01得票数 3
回答已采纳
我试图用Python编写一个AWS函数，从s3桶中收集一堆csv文件，将它们连接起来，删除副本并将结果写回s3。我想要读取的文件以前缀/存储在s3上的一个文件夹中。目前，我正在尝试使用以下方法逐个读取文件：
resp = s3.list_objects_v2(Bucket='mybucket')
#getting all objects in the bucket in a list
for obj in resp['Contents']:
keys.append(obj['Key'])
#filtering those that are
浏览 2提问于2020-03-01得票数 1
在我的python文件中，"df = pd.read_csv('table.csv')“位导致FileNotFoundError，即使它驻留在相同的目录中。我运行我用pyinstaller构建的可执行文件。 import tkinter as tk
import pandas as pd
df = pd.read_csv('table.csv') 当我尝试使用pyinstaller构建exe时，我在终端中使用了以下代码： pyinstaller --onefile --add-data 'table.csv:.' gui_calc.p
浏览 33提问于2020-10-19得票数 2
回答已采纳
我刚开始从链接学习中学习python，并且已经被卡住了。我想把我的csv文件从我的桌面导入到Jupiter笔记本。这是我所拥有的： import pandas as pd
import os
print(os.getcwd())
pd.read_csv(r"C:\Users\QQM2\Desktop\us_baby_names.csv") 但我得到的结果是： /Users/QQM2
---------------------------------------------------------------------------
FileNotFoundError
浏览 38提问于2020-03-29得票数 2
我正在工作的一个数据程序星团与初始化行动，以安装木星笔记本。我无法读取存储在google云存储桶上的csv文件，但是当我在Spark上工作时，我能够读取相同的文件
下面是我得到的错误代码
import pandas as pd
import numpy as np
data = pd.read_csv("gs://dataproc-78r5fe64b-a56d-4f5f4-bcf9-e1b7t6fb9d8f-au-southeast1/notebooks/datafile.csv")
FileNotFoundError
浏览 1提问于2018-11-14得票数 1
回答已采纳
2回答
阅读最后N行S3拼花表
、、、
如果我将讨论过的应用到S3 buck中读取S3 buck中的拼花文件，特别是：
import pyarrow.parquet as pq
import s3fs
s3 = s3fs.S3FileSystem()
pandas_dataframe = pq.ParquetDataset('s3://your-bucket/', filesystem=s3).read_pandas().to_pandas()
当表随着时间的推移越来越大时，我需要定期进行检索，我只想将最后的N行读入数据帧。这个是可能的吗？
浏览 0提问于2021-06-20得票数 4
回答已采纳
我正在尝试使用pandas从S3存储桶中存在的CSV文件中读取数据。然而，有时CSV文件只有1列，这是我不想解析的东西。我只想解析其中有超过1列的CSV。谁能告诉我要检查的条件是，如果列数> 1，那么只解析文件，否则退出循环。下面是我正在尝试的代码。 body = csv_obj['Body']
csv_string = body.read().decode('utf-8-sig')
df = pd.read_csv(StringIO(csv_string),usecols = [3,4,6]) 下面是我尝试的第二个代码，但得到了错误：File "
浏览 9提问于2019-09-06得票数 0
2回答
我在EC2上的一个容器中运行了一个烧瓶应用程序。在启动容器时，停靠状态使内存使用量接近48 to。在进行第一个API调用(从s3读取一个2gb文件)之后，使用率上升到5.72GB。即使在api调用完成之后，使用率也不会下降。
在访问请求时，使用量大约是文件大小的两倍，在几次请求之后，服务器开始提供。
此外，在没有容器的情况下运行相同的Flask应用程序时，我们不会看到内存使用上有任何这样的增加。
烧瓶应用程序(app.py)包含-
import os
import json
import pandas as pd
import flask
app = flask.Flask(__name
浏览 6提问于2022-01-27得票数 1
简单的2行Python代码是：
import pandas as pd
pd.read_excel('sample.xlsx')
当我转到这个文件夹的位置时，上面的代码运行良好&从cmd运行，但是同一个目录中有空闲。当我使用空闲运行相同的代码时，它会抛出FileNotFoundError
有人能告诉我我在哪里犯错误吗。
浏览 0提问于2020-05-17得票数 0
回答已采纳
这只是我面临的一个简单问题。我正试着在jupyter笔记本上读取我的csv文件。它显示了我在说FileNotFoundError时出错。我在任何地方都找不到合适的解决办法。请帮助我消除这个错误，并读取csv文件。提前感谢
错误是
FileNotFoundError
Traceback (most recent call last)
<ipython-input-16-3b1f95fc5c0b> in <module>()
----> 1 dataset = pd.read_csv('D:\seminar\totaldata.csv')
浏览 1提问于2019-01-08得票数 1
回答已采纳
2回答
我试着从AWS S3读取一个拼花文件。
同样的代码也适用于我的windows机器。
谷歌搜索没有产生任何结果。
熊猫应该使用紧身片来建立数据框架。安装了紧固件。
代码：
import boto3
import pandas as pd
def get_parquet_from_s3(bucket_name, file_name):
"""
:param bucket_name:
:param file_name:
:return:
"""
df = pd.read_parquet('s3
浏览 0提问于2019-07-30得票数 2
我尝试了以下几种在S3中上传我的文件的方法，最终的结果不是存储数据，而是存储数据的路径。
import boto3
s3 = boto3.resource('s3')
或
s3 = boto3.client(
's3',
aws_access_key_id="key_id",
aws_secret_access_key="access_key")
s3.Object('bucket/folder/','xyz.csv').upload_file(Filename='
浏览 4提问于2020-04-05得票数 1
回答已采纳
当我从IDE运行我的脚本时，我不会遇到问题。但是当我使用python -m cProfile <script_file_name>运行它时，它会引发一个FileNotFoundError？
import pandas as pd
x = pd.read_excel(<file_name>)
浏览 11提问于2022-06-16得票数 0
我使用sql server ML(Python)，当我使用[Pandas]库读取发生FileNotFoundError的文件时，出现了这个问题
“法典”的部分：
df=pd.read_csv("C:\User\ussser\desktop\File.csv")
错误图片：
浏览 0提问于2020-10-08得票数 0
回答已采纳
6回答
我在jupyter笔记本上使用python 3。问题是它无法读取csv文件。读取我使用的csv文件的命令是：
import pandas as pd
df = pd.read_csv("py.csv")
df
我也尝试过很多其他的方法，但每次它说，文件是找不到的，虽然csv文件在我的电脑。
FileNotFoundError Traceback (most recent call last)
<ipython-input-4-cc06427474dd> in <module>()
1 im
浏览 2提问于2017-11-09得票数 1
回答已采纳
我在saved工作，使用python试图分析保存在带有熊猫特征的S3桶中的数据。数据非常大，所以我使用的不是一个大型EC2实例，而是一个SKLearn处理器。
一切运行良好，但当任务完成时，它不会将熊猫配置文件(一个.html文件)保存在S3桶中，也不会保存在Sagemaker正在运行的实例中。
当我试图导出从熊猫配置文件创建的.html文件时，我总是会收到错误的信息，说无法找到该文件。
有人知道如何将.html文件从SKLearn处理器正在运行的临时24xl实例导出到S3中吗？下面是我使用的确切代码
import os
import sys
import subprocess
def ins
浏览 2提问于2022-08-12得票数 0
1回答
我对python很陌生，并且一直在尝试将csv文件放到google笔记本上。我不知道我做错了什么。已经尝试使用'/‘，但是它们也不起作用。
import pandas as pd
testData = pd.read_csv(r'C:\Users\User\Documents\ml\training.csv')
我收到了多个错误：
FileNotFoundError Traceback (most recent call last)
<ipython-input-37-d77976d861ee> in <
浏览 5提问于2020-05-27得票数 0
回答已采纳
1回答
我将转储为HDF格式的pandas数据帧存储在S3上。由于无法将文件指针、URL、s3 URL或StringIO对象传递给read_hdf，我几乎被卡住了。如果我理解正确的话，这个文件必须存在于文件系统中。
来源：
它看起来是为CSV实现的，但不是为HDF实现的。有没有更好的方法打开这些HDF文件而不是将它们复制到文件系统？
根据记录，这些HDF文件是在web服务器上处理的，这就是为什么我不想要本地副本的原因。
如果我需要使用本地文件:有没有办法在文件系统上模拟这个文件(用一个真实的路径)，它可以在读取完成后被销毁？
我使用的是Python 2.7和Django 1.9和pandas 0.18
浏览 5提问于2016-09-07得票数 9
2回答
在S3存储桶中有一个CSV文件，我想解析它并将其转换为Python语言的字典。使用Boto3时，我调用了s3.get_object(<bucket_name>, <key>)函数，该函数返回一个字典，其中包含一个"Body" : StreamingBody()键值对，该对显然包含了我想要的数据。
在我的python文件中，我添加了import csv和我在网上看到的有关如何读取csv文件的示例，您可以传递如下文件名：
with open(<csv_file_name>, mode='r') as file:
reader =
浏览 1提问于2017-10-26得票数 7
回答已采纳
我正在airflow环境中运行以下代码，以从s3获取一个泡菜文件并将其读入内存。一旦我试图读取/打印文件内容，我就会得到错误：
ERROR - 'NoneType' object has no attribute 'axes'
代码
import boto3
import pickle
# [...Omitted code...]
s3_session = boto3.Session(
aws_access_key_id=access_key,
aws_secret_access_key=secret_key
)
s3 = s3_s
浏览 0提问于2021-06-28得票数 0
回答已采纳
我试图使用python脚本自动将文件从AWS s3下载到我的本地机器。python脚本本身托管在ubuntu (AWS ec2实例)上，因此它无法识别本地机器上的目录。
这是我的密码：
import os
import boto3
from boto3.session import Session
print("this script downloads the file from s3 to local machine")
s3 = boto3.resource('s3')
BUCKET_NAME = 'sfbucket.myBucket'
浏览 2提问于2019-12-17得票数 0
回答已采纳
当我的脚本从Jenkins启动时，我在Python中保存/移动文件时遇到了问题。
我有一个小功能，旨在将输出文件从工作目录移动到另一个目录。当我的脚本在本地启动时，一切正常。当我试图让Jenkins运行它时，我得到了以下错误：
Traceback (most recent call last):
File "...\shutil.py", line 522, in move
os.rename(src, real_dst)
FileNotFoundError: [WinError 3] The system cannot find the path specified:
浏览 0提问于2015-11-03得票数 0
1回答
我正在将文件从S3读取到Pandas数据框架中:这些文件是已分区的parquets。我将在Lambda内部使用这个，所以我需要对内存非常保守。当我运行以下语句时，内存不足：
pq.ParquetDataset(f's3://{path}', filesystem=s3).read_pandas().to_pandas()
但是，如果我运行以下命令，我会很好：
pq.ParquetDataset(f's3://{path}', filesystem=s3)
如果添加：
pq.ParquetDataset(f's3://{path}', filesy
浏览 3提问于2019-09-24得票数 0
1回答
我在机器学习的A讲座19，在那里我们访问我们的第一个数据集。我已经连接到gmail帐户中的Google文件夹，但是当我试图访问该文件时，我会得到以下错误消息；有什么想法吗？我已经试了几个小时了，需要一些帮助：
FileNotFoundError Traceback (most recent call last)
<ipython-input-2-8cbde3511752> in <module>()
----> 1 dataset = pd.read_csv('Data.csv')
2 X
浏览 0提问于2021-08-06得票数 0
1回答
我使用Avro 1.4.0通过Python avro绑定和boto S3库从S3中读取一些数据。当我在文件上打开一个avro.datafile.DataFileReader (如boto返回的对象)时，它在尝试seek()时立即失败。现在，我通过将S3对象读入临时文件来解决这个问题。
我希望能够流经任何支持read()的python对象。有人能提供建议吗？
浏览 2提问于2010-09-24得票数 3
回答已采纳
2回答
我正在移植一个python项目(s3 +雅典娜)从使用csv拼花。
我可以制作拼花面板文件，可以通过拼花面板视图查看。
我可以将文件上传到s3存储桶。
我可以创建指向s3存储桶的雅典娜表。
但是，当我在Athena Web GUI中查询该表时，它运行了10分钟(似乎永远不会停止)，并且没有显示任何结果。
整个项目很复杂。我试着简化这个案例。
1.假设我们有以下csv文件(test.csv)
"col1","col2"
"A","B"
2.然后，我使用以下python (2.7)代码将其转换为拼图文件(test.pa
浏览 18提问于2018-09-06得票数 0
我正在将一些代码从python 2 (2.7)转移到python 3 (3.7或更高版本)。
但是，这段代码读取由python2.7中的代码创建的h5文件。这段代码也将被传输到python 3，但不是由我来传输。我需要h5文件中的数据来检查我端到python3的转换是否正常(内部数据是熊猫数据)。
因此，我正在寻找一个技巧(使用python 2或python 3)来将这个h5文件转换为比用python 3阅读的东西。它不需要是一个简洁的解决方案，因为它只是暂时的。
数据相当可观。
浏览 3提问于2020-11-25得票数 0
回答已采纳
2回答
我有一个可能包含HDF5格式(PyTables)数据的my_file.h5文件。我尝试使用pandas来读取此文件：
import pandas as pd
store = pd.HDFStore('my_file.h5')
然后我尝试使用store对象：
print store
结果，我得到了：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/lib/pymodules/python2.7/pandas/i
浏览 3提问于2013-04-23得票数 2
1回答
我有两个CSV文件，一个大约60 GB，另一个在S3中大约是70 GB。我需要将这两个CSV文件加载到pandas数据帧中，并对数据执行连接和合并等操作。
我有一个EC2实例，它有足够的内存供两个数据帧一次加载到内存中。
从S3到pandas数据帧读取这么大的文件的最佳方式是什么？
另外，在我对数据帧执行了所需的操作之后，输出的数据帧应该被重新上传到S3。
将巨大的csv文件上传到S3的最佳方式是什么？
浏览 5提问于2020-05-06得票数 0
我需要设置一个AWS Lambda函数，该函数在新的CSV文件上传到S3存储桶时触发，以将CSV文件合并为一个主文件(它们将具有相同的列数和列名)，然后将新的主文件上传到另一个S3存储桶。
我使用Python实现Lambda函数。我用我的Lambda函数和我使用的依赖项(Pandas和Numpy)创建了一个zip文件夹，并上传了它。
目前，我必须将我想要合并在一起的CSV文件包括在压缩文件夹本身中，当我检入CloudWatch时，该函数会合并这些CSV文件，并且输出(主文件)在日志中。
我不知道如何将我的代码链接到输入和输出的S3存储桶。
这是我正在开发的一个应用程序。
下面是我使用的pyth
浏览 1提问于2019-07-02得票数 1
我有一个csv文件位于我的S3桶中(S3://abc/FB/train_ located er.csv)。当我写信时..。
g=nx.read_edgelist('s3://abc/FB/train_woheader.csv',delimiter=',',create_using=nx.DiGraph(),nodetype=int, encoding='utf-8')
print(nx.info(g))
上面写着
FileNotFoundError: [Errno 2] No such file or directory: 's3://a
浏览 8提问于2020-09-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
