为此，我需要使用dask中的合并操作。不幸的是，github的用户基数是6M，合并操作似乎正在导致最终的数据帧爆炸。我使用了以下代码gh = dd.read_hdf('data/github.hd5', '/github', chunksize=5000, columnsaxis=1)mrg['min
浏览 12提问于2016-08-24得票数 6
如何将生成的dask.DataFrame转换为pandas.DataFrame (假设我已经完成了繁重的任务，只想将sklearn应用到聚合结果中)？
浏览 27提问于2016-08-18得票数 43
回答已采纳
我拥有的数据规模不太可能使DataFrame合并成功--以前的尝试已经导致过多的数据洗牌、调度程序上的内存错误和工作人员中的通信超时，甚至包括索引、分区、工作人员的重要计数、总内存等等。通过将数据写入小文件并在需要查找时将其读取回来，我已经“手动”合并了一些成功。我们目前正在dask.delayed函数中这样做。这显然需要大量磁盘I/O。Dask延迟最佳实践()警告不要发送DataFrame延迟，不要调用延
浏览 2提问于2021-09-20得票数 1
回答已采纳
我想使用Dask来处理大型数据帧。然而，当我尝试使用它时，我得到了一个内存错误，如下所示。df = pandas.DataFrame({'x': my_very_large_array})
ddf = dask.dataframe.from_pandas(df, npartitions=100) 我认为Dask应该处理比内存更大的数据。
浏览 7提问于2019-03-06得票数 0
回答已采纳
我把它装进了一个dask数据仓库：dask_train_df = dd.read_parquet('train.parquet')这产生了：Columns: 8712 entries, 0 to 8711
dtypes:
浏览 0提问于2018-12-24得票数 6
回答已采纳
有时，使用dask.dataframe.map_partitions进行合并之类的操作很有吸引力。在某些情况下，当使用map_partitions在left_df和right_df之间进行合并时，我希望在执行合并之前先预缓存right_df，以减少网络开销/本地混洗。在使用小得多的right_df (本质上是一个查找表)的大型left_df上执行左连接时，这一点尤为突出。感觉这个right_df应该能够读入内存，并持久/分散到所有工
浏览 0提问于2019-07-30得票数 2
下面的示例是：，我试图将一个~70 as的Dask数据帧与我作为Pandas数据frame加载的~24 as数据帧合并。合并位于两个列A和B上，我没有设置任何索引：from dask.diagnostics import ProgressBar
large_df = dd.read_csv(dataframe</
浏览 16提问于2016-09-13得票数 26
2回答
合并多个CSV文件导致内核死亡
、、、、
然后，我需要基于共享密钥(Id)合并它们。merged = pd.merge(df, df1, on='id', how = 'left')。然而，经过几次合并后，结果表的大小变得非常大，并扼杀了内核。这是我在内核退出merged.shape = (29180782, 71)之前为合并结果而得到的最后一个大小。我需要合并更多的桌子。首先，我将最后一个合并的表保存在csv文件中，以便为下一个合并过程按块读取。在坚果壳中，我的问题是当表变得越来越大并导
浏览 4提问于2020-02-29得票数 1
2回答
我正在使用dask读取5个大的(>1 GB) csv文件，并将它们合并(类似SQL)到一个dask数据帧中。现在，我正在尝试将合并后的结果写入单个csv。我在dask dataframe上使用compute()将数据收集到单个df中，然后调用to_csv。但是，compute()在读取所有分区的数据时速度很慢。我尝试在dask df上直接调用to_csv，它创建了多个.part文件(我没有尝试将这些.part文件合并到一个csv中)。有没有其他方
浏览 5提问于2017-03-23得票数 4
1回答
在列上合并dask
、、、、
在这个脚本中，我对用户指定的列上的两个数据文件执行合并，并试图将其转换为dask。如何将这一行更改为与dask数据格式匹配？
浏览 2提问于2021-04-05得票数 4
回答已采纳
我有一个目录与小镶木地板文件(600)，我想做ETL的这些镶木地板和合并这些镶木地板到128mb的每个文件。处理数据的最佳方式是什么？我是否应该读取拼图目录中的每个文件，并将其作为单个数据帧进行合并，然后执行groupBY？或者向dd.read_parquet提供拼图目录名称并对其进行处理？我感觉，当我逐个文件地阅读时，它创建了一个非常大的dask图，不能作为一个图像。我猜它也能处理这么多数量的线程？这会导致内存错误。
哪种方式读取拼图文件作为dask data
浏览 9提问于2020-05-19得票数 0
1回答
我想从Dask Dataframe列创建一个列表/集合。基本上，我希望使用此列表通过将值与此数据帧中的列进行匹配来过滤另一个数据帧中的行。我尝试过使用list(df[column])和set(df[column])，但它们花费了很多时间，最终导致创建集群时出现错误，有时当达到内存限制时，它会重新启动内核。我可以使用dask.bag或多处理来创建列表吗？
浏览 10提问于2020-12-31得票数 0
回答已采纳
1回答
我有两个数据文件需要合并。df1有50多个列，df2有20多个列。我使用了以下代码进行合并：import dask.dataframe as dd上面的这些行很好用，它合并了，我甚至可以检查dtypes和list(columns)。然而，当我尝试使用out.to_csv()甚至out.head(
浏览 5提问于2022-05-10得票数 0
1回答
我正试图使用dask_cudf对一个非常大的数据集(150,000,000+记录)进行预处理，以便进行多类xgboost培训，并且无法对类列(dtype is string)进行编码。我试着使用“替换”函数，但是错误消息说这两个dtype必须匹配。我试过使用dask_ml.LabelEncoder，但它说cudf中不支持字符串数组。我尝试过以各种方式使用compute()，但是我一直遇到内存不足的错误(我假设是因为cudf dataframe上的操作需要一个更小的数据集)。我还尝试取出类
浏览 14提问于2022-07-01得票数 0
1回答
使用dask distributed读取100个json文件：(Workers:5核:5内存: 50.00 GB) from dask.distributed import Client df = dd.read_json('gs://xxxxxx/2018-04-18/data-*.json
浏览 8提问于2019-04-16得票数 2
对于当前的项目，我计划合并两个非常大的CSV文件与Dask作为一个替代潘达。我已经安装了达斯克彻底的pip install "dask[dataframe]"。但是，在运行import dask.dataframe as dd时，我会收到反馈ModuleNotFoundError: No module named 'dask.dataframe'; 'dask
浏览 3提问于2020-08-17得票数 2
回答已采纳
TL;DR：我如何从分布式读取中收集元数据(解析期间的错误)到dataframe集合中。
目前，我有一种专用的文件格式，用于输入dask.DataFrame。我有一个函数，它接受一个文件路径并返回一个pandas.DataFrame，dask.DataFrame成功地在内部使用该函数将多个文件加载到同一个dask.DataFrame。直到最近，我还在使用自己的代码将几个pandas.DataFrames合并为一个，现
浏览 7提问于2016-01-26得票数 2
回答已采纳
我正在尝试学习如何使用dask模块来克服脚本中的内存问题。当我读取csv并从它创建dask数据帧时，我得到了以下错误： File "C:\Users\username\AppData\Local\Programs\Python\Python39\lib\site-packagesfile://"):
AttributeError: '_io.TextIOWrapper' object has no attribute 'start
浏览 271提问于2021-02-02得票数 0
我试图使用Python3.4中的DASK包来避免大型数据集出现RAM问题，但我注意到了一个问题。使用本机函数"read_csv“，我使用不足150 of的RAM将大数据集加载到dataframe中。
浏览 4提问于2016-07-04得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
