1回答
我有一个大的BCP文件(12 to )，我已经导入到dask中，并进行了一些数据处理，我希望导入到SQL server中。该文件已从40+列减少到8列，我希望找到最好的方法来导入到SQL server。我已经尝试使用以下几种方法： import sqlalchemy as safrom dask.diagnostics import ProgressBar我曾怀疑可能是这种情况，因此我还尝试写入BCP文件
浏览 13提问于2020-09-28得票数 0
回答已采纳
我一直在使用Dask处理大型数据帧，并执行连接/过滤器等操作。最终结果是一个我知道有8行的数据帧。但是，如果我的dask数据帧是f，那么我选中f，就会得到npartitions=81和Dask Name: assign, 10633 tasks。为什么会这样呢？我花了将近5个小时写入一个.h5文件，才发现结果中只有8行。有没有什么方法可以加快速度呢？ 分区的数量是81，这
浏览 19提问于2020-05-01得票数 1
我从CSV文件中获取了数据，并将其保存在我的Dask数据帧中并对其进行操作。然后，我需要将数据写入数据表。我还没有真正遇到过任何解决方案。我目前认为，将Dask数据帧转换为Pandas会导致它被完全加载到内存中，这可能会违背最初使用Dask的目的。
将Dask数据帧写入dat
浏览 4提问于2020-03-27得票数 1
我正在使用dask read_parquet读取一个文件列表，并将这些数据帧连接在一起，然后写入某个文件。在连接过程中，dask read是在连接时将所有数据写入内存，还是只加载schema的连接(我正在使用轴0进行连接) ?？
提前感谢
浏览 0提问于2020-05-20得票数 3
1回答
将dask数据帧写入一个文件
、、、、
我可以将大量的dask数据帧写入磁盘，如下所示：这将在子文件夹中生成原始(消息)数据集的分块数据：我想知道，我可以强制dask将数据写成一个文件吗？
浏览 5提问于2018-08-09得票数 4
1回答
我有一个大约8700万行的Pandas数据帧。为了对其进行一些处理，我将其设置为Dask数据帧。问题是我需要做Dask不支持的unstack和plot。我已经将Dask数据帧写入h5文件，但在尝试将其作为Pandas数据帧读取时遇到内存问题。我在将Dask DF转换为Pandas时也遇到了内存错误。要到达df2
浏览 2提问于2020-04-22得票数 2
如何让dask中的所有其他工作节点都可以访问一个8 GB的大文件？我已经在chunksize和client.scatter上尝试过pd.read_csv()，但这需要很长时间。这是我的代码：import dask as daskimportdask.dataframe as dd
import dask.delayed as
浏览 4提问于2018-07-24得票数 1
1回答
合并两个大型数据帧
、、、
我有两个大数据帧:一个包含3M行，另一个包含2M行第一个数据帧： sacc_id$ id$ creation_date0 001A000000hAUn8IAG我在这里的一些讨论中看到Dask可以提
浏览 16提问于2019-01-31得票数 0
我有一个非常大的Pandas数据帧，我想把它保存到磁盘上，以便以后使用。数据帧仅包含字符串数据。有没有办法把一个大的文本熊猫数据帧保存到磁盘上？df.to_sql("table", engi
浏览 2提问于2019-05-29得票数 2
我想将Dask Dataframe转换为Spark Dataframe。让我们考虑这个例子：dask_df = dd.read_csv("file_name.csv")
spark_df = spark_session.createDataFrame(dask_df)
但这是行不通的。
浏览 18提问于2021-02-25得票数 0
2回答
我正在使用dask读取5个大的(>1 GB) csv文件，并将它们合并(类似SQL)到一个dask数据帧中。现在，我正在尝试将合并后的结果写入单个csv。我在dask dataframe上使用compute()将数据收集到单个df中，然后调用to_csv。但是，compute()在读取所有分区的数据时速度很慢。我尝试在dask df上直接调用to_csv，它创建了多个.par
浏览 5提问于2017-03-23得票数 4
1回答
我正在尝试读取一个大型.parquet作为dask数据帧，并对其进行采样：sample_ddf = ddf.sample0.03)ValueError: Arrays chunk sizes are unknown: (nan,)
ddf.to_<e
浏览 29提问于2021-05-21得票数 0
我正在尝试使用dask来处理一些ML项目中的大型数据集。将单独的CSV文件加载到dask数据帧中工作正常。当我尝试使用多个CSV文件时，任何类似“计算”的操作都会导致程序无限期挂起。这运行得很好 import dask.dataframe as ddimport dask
from dask.distributed import Clien
浏览 11提问于2019-12-12得票数 0
我有一个现有的代码，用于读取流数据并使用pandas DataFrame存储它(每5分钟就有新的数据)，然后捕获这个数据类别wise (~350个类别)。接下来，我在循环中使用编写所有新的数据(因为这是增量存储的)。我想知道是否可以通过使用dask数据文件使上述过程更快、更高效。
我查阅了dask.org，没有得到任何明确的答案，也查看了用例。
浏览 1提问于2021-04-12得票数 0
在我完成DASK代码之后，我一直收到"distributed.utils_perf - WARNING - full垃圾回收最近占用了19%CPU时间“的警告消息。我正在使用DASK做一个大型的地震数据计算。计算完成后，我会将计算出的数据写入磁盘。写入磁盘部分所需的时间比计算要长得多。在我将数据写入磁盘之前，我调用了client.close()，我假设我已经完成了DASK。但是当我
浏览 185提问于2019-10-19得票数 7
我想使用Dask来处理大型数据帧。然而，当我尝试使用它时，我得到了一个内存错误，如下所示。df = pandas.DataFrame({'x': my_very_large_array})
ddf = dask.dataframe.from_pandas(df, npartitions=100) 我认为Dask应该处理比内存更大的数据。
浏览 7提问于2019-03-06得票数 0
回答已采纳
长话短说，我一直在与内存问题(以及执行时间) dask / pandas来编写大型数据帧to_sql或to_csv作斗争，如果有人能给我指出正确的方向(下面有更多详细信息)？我将两个较大的.csv文件附加到一起，使用dask形成一个更大的.csv文件(27M行x 52列)，以便节省内存，而不是使用pandas，因为我在pandas中内存不足或接近内存。在此基础上，我只是简单地尝试写入.csv，但是在尝试使用.compute(
浏览 25提问于2020-06-12得票数 0
1回答
我是Dask库的新手，我想知道如果我们在两个系统上使用dask实现并行计算，那么我们应用计算的数据框架是否存储在这两个系统上？并行计算究竟是如何进行的，文档中并不清楚。
浏览 0提问于2018-07-03得票数 0
我需要读取数千个csv文件，并将它们输出为Python中的一个csv文件。我能够在每个csv中阅读并从内存中删除它来解决RAM问题。(实际文件将有几十列和数十万行)id,col1,col2abc,3.7,5DEF.csv：def,1.9,3
浏览 5提问于2022-10-18得票数 0
回答已采纳
1回答
['target'].sum().shift(i).ffill().bfill().values
是否可以对值进行排序、分组、移位，然后分配给一个新变量，而不需要在Dask
浏览 10提问于2017-03-15得票数 4
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号