我正在使用Pandas中的代码，该代码涉及读取大量文件，然后对循环中的每个文件执行各种操作(循环遍历文件列表)。我正在尝试将此转换为基于Dask的方法，而不是基于Pandas的方法，到目前为止，我尝试了以下的尝试--我对Dask还不熟悉，需要询问这是否是一种合理的方法。这将允许在for循环中构建Dask。在此之后(在循环之外)，我可以很容易地水平地将构建的Dask
浏览 1提问于2017-05-03得票数 1
回答已采纳
2回答
这是我第一次创建一个代码来处理包含大量数据的文件，所以我被困在这里了。# CsvList: [File Path, Change Date, File size, File Name]
for x, file in enumerate(CsvList我用的是dask.dataframe
浏览 7提问于2022-03-08得票数 0
回答已采纳
我在尝试在Dask中实现循环时遇到了一些问题。).compute()==0:df = df.drop(cols_constant,axis=1)我不能使用e.persist()，因为我们打算在多个worker系统上进行
浏览 5提问于2017-06-08得票数 1
我有一个包含用户id的CSV文件。此CSV文件作为dask-dataframe导入。进入数据帧后，我需要为id列中的每个条目获取该user-id，并在其上运行一个SQL查询来获取该user -id的用户名，并将其添加到新列中的dataframe。我有几个这样的列需要获取。我不确定对DASK数据帧中的值运行select查询的dask方法是什么。我该怎么做呢？我不想走命令式路线，并使用
浏览 26提问于2020-03-18得票数 1
回答已采纳
我有一个作为Pandas DataFrame读入的.csv文件。然后，我尝试将其转换为dask dataframe，但这会导致错误'Index' object has no attribute 'is_monotonic_increasing'。import pandas as pddf = pd.read_csv('s3://my-bucket/da
浏览 1提问于2019-12-12得票数 1
在直接使用cuDF时，我可以高效地将单个大型数据块移动到单个DataFrame中。 当使用dask_cudf对我的DataFrames进行分区时，是否一次一个地将分区复制到GPU内存中？一批一批？如果是这样，多个拷贝操作而不是单个较大的拷贝是否会产生显著的开销？
浏览 74提问于2019-02-15得票数 2
我在一个大的文本文件中有一个时间序列。该文件超过4GB。df = pandas.read_csv('super_size_file.log',我可能想要一个块一个块地加载，并重新整理每一块。但在我看来效率很低。
任何想法都欢迎。;)
浏览 0提问于2019-05-23得票数 2
回答已采纳
TL;DR：我如何从分布式读取中收集元数据(解析期间的错误)到dataframe集合中。
目前，我有一种专用的文件格式，用于输入dask.DataFrame。我有一个函数，它接受一个文件路径并返回一个pandas.DataFrame，dask.DataFrame成功地在内部使用该函数将多个文件加载到同一个dask.DataFrame。直到最近，我还在使用自己的代码将几个pandas.DataFram
浏览 7提问于2016-01-26得票数 2
回答已采纳
2回答
下面是我得到的代码错误
Requirement already up-to-date: dask[dataframe]1.16; extra == "dataframe" in /usr/local/lib/python3.7/dist-packages (from dask[datafram
浏览 4提问于2021-03-27得票数 1
我只想从Dask dataframe中提取50行，但我不能。最后，我想创建一个新的Dataframe，每个类有50行。当我运行这段代码时， import dask.dataframe as dd
classes = train_csv.landmark_id.unique我想索引可能是wrong.so运行这段代码， import dask.dataframe</em
浏览 15提问于2019-04-30得票数 0
1回答
我有一本这样的字典： d = {'Caps': 'cap_list', 'Term': 'unique_tokens', 'LocalFreq': 'local_freq_list','CorpusFreq': 'corpus_freq_list'} 我想从它创建一个dask数据帧。通常，在Pandas中，可以通过以下方式轻松地将is导入Pandas df： df = pd.DataFrame
浏览 28提问于2019-12-17得票数 3
我有一台功能强大的机器(远程机器)，可以通过SSH访问。我的数据存储在远程机器上。 我想运行并访问远程机器上的数据。为此，我在远程机器上运行了一个dask-scheduler &一个dask-worker。然后，我在我的笔记本电脑(本地机器)上运行了一个jupyter笔记本电脑，使用的是client=Client(‘schedular ip:8786’)，但它仍然引用本地机器上的数据，而不是远程机器上的数据如何从运行在本地计算
浏览 31提问于2021-09-26得票数 2
我正在尝试使用lambdas作为函数，在for循环中应用于dask dataframe，创建一个dataframe列表。当我计算每个dataframe时，它们都使用最后一个lambda表达式，而不是在循环中签名的表达式。示例：columns=['group', &#x
浏览 1提问于2017-11-17得票数 1
回答已采纳
我正在努力将字典的dask.bag转换为dask.delayed pandas.DataFrames，使之成为最终的dask.dataframe到目前为止，我一直在使用dask.delayed对象来加载、转换和附加所有工作正常的数据(参见下面的示例)。但是
浏览 3提问于2019-03-22得票数 5
回答已采纳
在将join应用于.from_delayed方法生成的dask数据文件时，我得到了意想不到的结果。我想通过下面的示例演示这一点，该示例由三个部分组成。通过from_delayed方法生成dataframe，并将其与通过from_pandas生成的dataframe连接
将通过from_delayed方法生成的dask数据转换为使用compute生成的熊猫。之后
浏览 0提问于2016-07-17得票数 2
回答已采纳
1回答
我想使用Dask摄取一个大的(>2GB，> 1M行)行分隔的JSON，并将其保存为一批Parquet文件。我正在我的个人电脑上进行这些实验，所以这个文件比可用的内存还要大。使用Pandas，我可以使用read_json()创建一个JsonReader对象，然后在for循环中遍历块：
reader = pd.read_json(file, orient='records',，并产生预期的拼花文件集合。根据我对的理解，我编写
浏览 9提问于2022-09-01得票数 0
1回答
我当前的代码没有返回任何内容。bucket = s3.Bucket('databucket')
prefix_df = pd.DataFrame
浏览 15提问于2021-06-04得票数 0
1回答
我的数据在管道中运行，我希望确保输入与输出匹配--确保管道中的任何内容都不会导致数据更改。为此，我使用Dask比较数据格式，因为源包含超过200万行。我用来比较数据格式的代码如下：
input_df = dd.read_sql_table(input_table, con=input_engine.url我研究了dask的延迟使用，但在进行比较之前，我不认为它适用于为数据文件提取数据时。正如你所
浏览 1提问于2022-03-17得票数 0
1回答
我有一只熊猫DataFrame，df，我把它变成了DataFrame，dask_dfimport dask.dataframe as dddask_df = dd.from_pandas(df, npartitions=1)
当我把dask_df<
浏览 1提问于2019-09-16得票数 1
我正在寻找一些关于dask数据帧结果的帮助。我有一个dask数据帧，其中包含来自144个csv文件的144个数据帧。我想从这些数据帧中的一列中获取最大值并返回它，以及它所属的文件夹的名称。我一直在使用map_patitions来获得我正在寻找的结果，但是，没有与分区结果相关联的标识符，所以很难将结果应用于其他用途。任何帮助都将不胜感激！下面是我使用的代码示例： ddf = dd.read_csv(f'{di
浏览 23提问于2020-03-21得票数 1
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号