尽管我使用的是建议的方法，Dask还是输出了使用client.scatter的警告
Dask是一个用于并行计算的开源框架，它提供了一种灵活且高效的方式来处理大规模数据集。在使用Dask时，有时会遇到使用client.scatter方法时输出警告的情况。
警告信息可能是由于以下原因之一导致的：
- 数据分散不均：Dask通过将数据分散到不同的计算节点上来实现并行计算。警告可能是由于数据分散不均匀导致的，这可能会影响计算的性能。解决这个问题的方法是使用
client.rebalance方法来重新平衡数据的分散。 - 内存不足：警告可能是由于计算节点的内存不足导致的。这可能是因为数据集过大，无法完全放入内存中。解决这个问题的方法是使用
client.scatter方法的direct参数，将数据直接发送到计算节点上，而不是在内存中复制数据。 - 网络通信问题：警告可能是由于网络通信问题导致的。这可能是由于网络延迟或带宽限制引起的。解决这个问题的方法是优化网络设置，例如增加带宽或减少网络延迟。
总结起来，当使用Dask的client.scatter方法时，如果出现警告，可以考虑重新平衡数据分散、优化内存使用或优化网络设置来解决问题。
关于Dask的更多信息和使用方法，您可以参考腾讯云提供的Dask相关产品和文档：
请注意，以上答案仅供参考，具体的解决方法可能因实际情况而异。
相关·内容
我有一些代码，可以从pandas.DataFrame中为dask.DataFrame中的每条记录采样一条记录，用于k时间。
但它发出了一个警告：
UserWarning: Large object of size 1.12 MB detected in task graph:
( metric label group_1 group_2
6251 1 ... 6f875181063ba')
Consider scattering large objects ahead of time
with client.scatter to reduce sched
浏览 2提问于2019-05-10得票数 0
回答已采纳
如何让dask中的所有其他工作节点都可以访问一个8 GB的大文件？我已经在chunksize和client.scatter上尝试过pd.read_csv()，但这需要很长时间。我正在macOS上运行它。
这是我的代码：
import time
import pandas as pd
import dask as dask
import dask.distributed as distributed
import dask.dataframe as dd
import dask.delayed as delayed
from dask.distributed import Client, pr
浏览 4提问于2018-07-24得票数 1
1回答
与Dask共享内存
、、、
我通过Dask的starmap并行化了一个CPU受限的任务，它接受一个很大的嵌套列表和一个稀疏矩阵作为只读输入。为了避免嵌套列表和稀疏矩阵被重复复制到进程中，我希望通过共享内存访问这两个对象。Dask是否提供了Dask原生解决方案？
我在64位Windows机器上工作，使用Python3.8.5(默认，Sep 32020，21:29:08) MSCv.191664位(AMD64)和Spyder 4.2.1。作为一种变通的解决方案，我已经使用多处理库中的共享内存进行了测试，它不适用于嵌套列表和稀疏矩阵。
在下面的内容中，我提供了一个最小的示例来展示我的用例：
import dask.bag as
浏览 0提问于2021-02-24得票数 1
1回答
我正在使用Dask进行复杂的操作。首先，我做了一个缩减，它产生一个中等大小的df (几my )，然后我需要将它传递给每个worker来计算最终结果，所以我的代码看起来有点像这样 intermediate_result = ddf.reduction().compute()
final_result = ddf.reduction(
chunk=function, chunk_kwargs={"intermediate_result": intermediate_result}
) 但是，我收到的警告消息看起来像这样 Consider scattering large
浏览 10提问于2020-12-17得票数 0
1回答
如何避免任务图中的大对象
、、、
我正在使用dask.distributed运行模拟。我的模型定义在一个延迟函数中，并且我堆叠了几个实现。下面的代码片段中给出了我所做工作的简化版本：
import numpy as np
import xarray as xr
import dask.array as da
import dask
from dask.distributed import Client
from itertools import repeat
@dask.delayed
def run_model(n_time,a,b):
result = np.array([a*np.random.randn(n
浏览 7提问于2018-08-27得票数 2
回答已采纳
1回答
在使用相对昂贵的资源或对象进行计算的dataset上分发任务的最佳方法是什么。
# in pandas
df = pd.read_csv(...)
foo = Foo() # expensive initialization.
result = df.apply(lambda x: foo.do(x))
# in dask?
# is it possible to scatter the foo to the workers?
client.scatter(...
我计划将它与dask_jobqueue和SGECluster一起使用。
浏览 1提问于2018-10-03得票数 1
回答已采纳
我正在尝试执行一些不适合GPU的代码(这也会发生在我的CPU内存中，我们的数据通常存储为zarr数组)，我不确定我如何使用Dask来做到这一点。
我发现了这个图形处理器，我正在遵循类似的策略，但我收到了几个警告，distributed.worker - WARNING - Memory use is high but worker has no data to store to disk. Perhaps some other process is leaking memory? Process memory: 12.85 GiB -- Worker memory limit: 7.45
浏览 0提问于2021-05-08得票数 0
3回答
我试图通过numpy发送大的client.scatter(np_ndarray)雷达。np_ndarray大约是10 is；我得到了这个错误msgpack Could not serialize object of type ndarray。
在创建我的客户端时，我交替使用了pickle，即Client(self.adr, serializers=['dask', 'pickle'])。
数据大小是否有msgpack无法管理的限制？
当scatter,或dask发送数据时，是否总是使用msgpack根据数据类型决定协议？
我注意到有一
浏览 20提问于2022-01-17得票数 1
回答已采纳
我需要员工一次处理单个任务，并在启动新任务之前完成当前流程。我无法设法：(1)在每个工作人员上最多有一个任务在任何时刻运行，(2)使一个工作人员在启动一个新的过程之前完成一个过程；原子事务。
我在一个有40个节点的集群上使用dask.distributed客户端，每个核心和15 on内存。管道I进程的任务约为8-10GB，因此在一项工作中有两个任务将导致应用程序失败。
我试图用dask-worker scheduler-ip:port --nprocs 1 --resources process=1和futures = [client.submit(func, f, resources={&#
浏览 0提问于2019-04-12得票数 1
1回答
我正试图找出最好的方法来映射一个大地图的dask系列。直截了当的series.map(large_mapping)发布了UserWarning: Large object of size <X> MB detected in task graph，并建议使用client.scatter和client.submit，但后者并不能解决问题，实际上它要慢得多。尝试broadcast=True in client.scatter也于事无补。
import argparse
import distributed
import dask.dataframe as dd
import nump
浏览 2提问于2018-06-01得票数 3
回答已采纳
我需要从一个任务返回一个元组，它必须在主进程中解包，因为元组中的每个元素都将去往不同的dask任务。我希望避免不必要的通信，所以我认为元组元素应该是Futures。 我想出的最好的方法是将数据分散给同一个工作者，以获得未来。有没有更好的方法呢？ import numpy as np
import time
from dask.distributed import Client
from dask.distributed import get_client, get_worker
def other_task(data):
return len(data)
def costly_t
浏览 12提问于2021-03-26得票数 1
回答已采纳
我正在尝试合并两个大型数据帧(一个是50k+值，另一个是650k+值--从7M+中删减下来)。合并/匹配是通过完成的，以查找第一个数据帧中的哪个字符串与另一个数据帧中的哪个字符串最接近。
目前，测试100行的变量大约需要3分钟。因此，我尝试建立Dask来帮助提高处理速度。这样做时，Dask会返回以下错误：“NotImplementedError: Series getitem In只支持具有匹配分区结构的其他系列对象”
该错误可能是由于我的数据帧大小不相等造成的。在尝试将my pandas数据帧转换为dask数据帧时设置块大小时，我收到一个错误(TypeError：'float‘对象不
浏览 3提问于2019-07-28得票数 0
我尝试将150万张图像作为dask数组保存到dask集群中，然后获取一些汇总统计数据。我正在遵循一个，并且已经将我的脚本编辑为一个最小可重现的示例：
import time
import dask
import dask.array as da
import numpy as np
from distributed import Client
client = Client()
def get_imgs(num_imgs):
def get():
arr = np.random.randint(2000, size=(3, 120, 120)).flatten()
浏览 2提问于2019-11-16得票数 0
背景
我有一个列表，其中包含了经过预处理并保存为.npy二进制文件的1000个图像堆栈(3D numpy数组)的路径。
案例研究，，我想计算所有图像的平均值，为了加快分析速度，我想并行处理。
使用dask.delayed的方法
# List with the file names
flist_img_to_filter
# I chunk the list of paths in sublists. The number of chunks correspond to
# the number of cores used for the analysis
chunked_list
# Sc
浏览 0提问于2017-10-26得票数 4
回答已采纳
1回答
我正在尝试使用Dask，并希望向所有工作节点发送一个查找pandas.DataFrame。不幸的是，它失败了，原因是： TypeError: ("'Future' object is not subscriptable", 'occurred at index 0') 当使用lookup.result()['foo'].iloc[2]代替lookup['baz'].iloc[2]时，它工作得很好，但是:对于较大的输入数据帧实例，它似乎一次又一次地卡在from_pandas上。此外，看起来很奇怪的是，未来需要手动阻
浏览 13提问于2019-05-11得票数 1
回答已采纳
1回答
我正在通过运行一个本地集群，在我的笔记本电脑上运行一个有四个工作人员的本地集群来尝试Dask。
我在工人之间分发Pandas数据，但是当我在他们上运行一个函数时，我从仪表板上看到，实际上只使用了其中的一个。
我遗漏了什么？
这里的代码
from distributed import Client
client = Client('127.0.0.1:56947')
dd = client.scatter(df, broadcast=True) # df is a pandas Dataframe
r = client.submit(process_df, dd)
浏览 0提问于2019-05-03得票数 0
回答已采纳
1回答
我有一个熊猫数据框架，并希望对每一组进行一次昂贵的操作。因此，我想使用dask并行化这个任务。初始数据帧应广播。但是，计算只有在以下情况下才会失败：
<Future: error, key: iterated_costly_function-4aff5e66b6af1c073dc2cfd0d2dbb6f3>
<Future: error, key: iterated_costly_function-74d26e42c758a8cc177047d7a0f49ff4>
以下是代码：
import pandas as pd
df = pd.DataFrame({'fo
浏览 1提问于2020-12-13得票数 0
回答已采纳
1回答
随着时间的推移和执行的继续，我们的dask调度器进程似乎在内存中膨胀。目前我们看到它使用了5 5GB的内存，这似乎很高，因为所有数据都应该存在于工作节点上：
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
31172 atoz 20 0 5486944 5.071g 7100 S 23.8 65.0 92:38.64 dask-scheduler
当启动调度器时，我们的内存使用量将低于1 1GB。执行client.restart()重启网络似乎没有什么帮助，只有杀死
浏览 10提问于2017-08-25得票数 1
在dask distributed中，我收到了以下警告，这是我意想不到的：
/home/miniconda3/lib/python3.6/site-packages/distributed/worker.py:739: UserWarning: Large object of size 1.95 MB detected in task graph:
(['int-58e78e1b34eb49a68c65b54815d1b158', 'int-5cd ... 161071d7ae7'],)
Consider scattering large objects
浏览 9提问于2018-02-22得票数 6
回答已采纳
有时，使用dask.dataframe.map_partitions进行合并之类的操作很有吸引力。在某些情况下，当使用map_partitions在left_df和right_df之间进行合并时，我希望在执行合并之前先预缓存right_df，以减少网络开销/本地混洗。有什么明确的方法可以做到这一点吗？感觉应该可以使用client.scatter(the_df)、client.run(func_to_cache_the_df)或其他智能广播中的一种或两者的组合。
在使用小得多的right_df (本质上是一个查找表)的大型left_df上执行左连接时，这一点尤为突出。感觉这个right_df应该
浏览 0提问于2019-07-30得票数 2
pandas.DataFrame.copy API可以在dask.DataFrame中精确地模仿吗，使用以下代码？
from copy import copy
df2 = copy(df)
是简单的还是深的复制？我怎样才能复制另一种副本呢？
还是我一定要做以下几件事？
df2 = dask.from_delayed(pandas.DataFrame.copy(df.to_delayed(),deep=True))
第二个代码片段将完全解决我的问题，还是有一些警告？
浏览 1提问于2018-07-01得票数 1
回答已采纳
1回答
我正在尝试使用dask来计算存储在数据集中的数据摘要，该数据集分为大约1000个拼图文件。每个文件大小在1Mb - 10Mb之间。当我将一个序列转换成一个数组，并在该数组上计算max时，它工作得很好。然而，当我尝试对两个数组执行concatenate操作时，我很快就耗尽了内存： import dask.dataframe as dd
import dask.array as da
data = dd.read_parquet('../data/*.parquet')
field_1 = data['field_1'].to_dask_array()
fiel
浏览 10提问于2021-04-11得票数 1
所以尽管我初始化了变量，而不是，我还是写了这个小，它给出了这个警告。
int main(int argc, const char * argv[]) {
@autoreleasepool {
int num1, num2, product, largestProduct = 0;
while (num2 < 1000) {
while (num1 < 1000) {
product = num1 * num2;
if (isPalindrome(
浏览 0提问于2016-09-09得票数 0
回答已采纳
我们已经注意到像Queue和Variable这样的通信对象不支持dask或numpy数组。
看起来msgpack不喜欢numpy数组。使用像这样的东西有意义吗？
我们正在尝试将worker上的循环的中间结果发送回队列。我们希望实时使用这些结果，并将它们绘制在笔记本中。
浏览 0提问于2019-12-12得票数 1
我在本地有一个样本数据集，我试图在集群上做一些基本操作。
import dask.dataframe as ddf
from dask.distributed import Client
client = Client('Ip address of the scheduler')
import dask.dataframe as ddf
csvdata = ddf.read_csv('Path to the CSV file')
客户端连接到调度程序，而调度程序又连接到两个工作人员(在其他机器上)。
我的问题可能很琐碎。
浏览 4提问于2017-06-07得票数 2
回答已采纳
1回答
如何使用Dask DataFrame计算第一个离散差分？或者，在“潘达斯之声”中，我如何在达斯克做？从数学上讲，操作非常简单:从其自身的副本中减去一个列向量，移动一行或多行。
我尝试过以以下方式在Dask中实现diff()，但这些方法都没有工作(目前为止)：
df - df.shift(periods=1)在潘达斯工作。但是Dask DataFrame没有shift()方法。
df.values[:-1] - df.values[1:]在潘达斯工作。但我看不出如何按位置索引到Dask DataFrame中。
我目前最好的实现diff的方法是用dask.dataframe.rol
浏览 5提问于2016-11-08得票数 3
回答已采纳
在这个bug报告中：https://github.com/dask/dask/issues/8319我有一个解决以下问题的方法。由于这似乎超出了该bug报告的范围，因此我将在这里询问最初的问题： import pandas as pd
import dask
# some example dataframe
df = pd.DataFrame([{"a": "A", "b": "B"}, {"a": "@", "b": "β"}, {"a": &#
浏览 25提问于2021-11-02得票数 0
回答已采纳
我的ssl警告指出：
该网站的身份尚未核实。·Server的证书不受信任。
我正在使用whm，我已经生成了SSL，并希望启用HTTPS。我运行了一个ssl测试，它表明端口443被阻塞：http://www.sslshopper.com/ssl-checker.html
在xxx上没有发现SSL证书。确保名称解析为正确的服务器，并且SSL端口(缺省值为443)在服务器防火墙上打开。
现在我想启用端口443。是通过WHM启用这个端口，还是仅通过手动为我的主机名添加一个虚拟主机？
或者这个警告是因为它是一个自签名的SSL证书而产生的？
管理SSL有点超出了我的复杂程度，所以如果我没有任何意义，请原谅
浏览 0提问于2012-04-17得票数 1
回答已采纳
我有一段在本地机器上运行的DASK代码，它90%的时间都在工作，但有时会卡住。卡住了。没有崩溃，没有错误，打印输出不是cpu使用率。永远不会结束。
我在谷歌上搜索了一下，想可能是因为某个员工死了。如果我能看到worker日志并找出原因，我将非常有用。但是我找不到我的工作日志。我去编辑config.yaml来添加日志记录，但是仍然看不到来自stderr的任何东西。然后我转到仪表板-->信息-->日志，看到空白页面。
它卡住的代码是X_test = df_test.to_dask_array(lengths=True)或proba = y_pred_proba_train:，1.com
浏览 0提问于2019-08-23得票数 2
我有一些在dask包上应用map函数的代码。我需要一个查找字典来应用该函数，但它不适用于client.scatter。 我不知道我是不是在做正确的事情，因为工人们开始工作，但他们什么也不做。我尝试了不同的配置，看起来不同的例子，但我不能让它工作。任何支持都将不胜感激。 我从Spark中了解到，您定义了一个广播变量，并在要应用的函数中通过variable.value访问内容。我在达斯克身上看不到同样的东西。 # Function to map
def transform_contacts_add_to_historic_sin(data,historic_dict):
raw_buff
浏览 2提问于2019-05-21得票数 2
1回答
尽管我将内核数量设置为24个，但所有120个内核都在100%使用中。 from multiprocessing.pool import ThreadPool
import dask
dask.config.set(pool=ThreadPool(24))
from dask.distribted import Client
client = Client(processes=True, threads_per_worker=1,
n_workers=24, memory_limit='20GB')
client ? ?
浏览 16提问于2019-04-05得票数 1
2回答
Dask数据并行任务
、、、
我想从dataframe创建特性(额外的列)，对于许多函数，我有以下的结构。
在这个文档之后，我给出了下面的代码。
但是，我得到了错误消息: concurrent.futures._base.CancelledError，并且多次收到警告: distributed.utils_perf -警告-完全垃圾回收最近占用了10%的CPU时间(阈值: 10%)。
我知道我附加的对象非常大(当我使用注释掉的df时，它工作得很好)，这就是程序崩溃的原因，但是有更好的方法吗？
import pandas as pd
from dask.distributed import Client, LocalClus
浏览 15提问于2022-05-30得票数 1
我试图将map_partitions与隐式依赖于大型对象的函数一起使用。代码如下所示：
big_array = np.array(...)
def do_something(partition):
# some operations involving partition and big_array
dask_dataframe.map_partitions(do_something)
然后，我得到以下错误：
Traceback (most recent call last):
File "/Users/wiebuschm/.pyenv/versions/3.8.5/l
浏览 6提问于2021-04-15得票数 1
回答已采纳
在pandas中，有许多方法可以用来查看内部数据，比如head、tail、loc、iloc，但每当我在dask上调用其中一个方法时，得到的结果是： Dask DataFrame Structure:
Close
npartitions=1
bool
...
Dask Name: try_loc, 9 tasks 不管我之前是否调用了.compute()。如何查看dask数据帧/系列中的数据？ 我使用的是Visual Studio Code 1.38.1，python 3.7，dask 2.13.0
浏览 10提问于2020-04-05得票数 2
回答已采纳
当我在dask中运行df.loc[mylabels]时，我会收到一个警告，它的链接是
从0.21.0开始，使用带有一个或多个缺少标签的列表的.loc或[]警告是不可取的，这有利于.reindex
这一页还说：
或者，如果您只想选择有效的键，则以下内容是惯用的和有效的；它保证保留所选内容的dtype。
In [106]: labels = [1, 2, 3]
In [107]: s.loc[s.index.intersection(labels)]
Out[107]:
1 2
2 3
dtype: int64
Dask索引没有intersection方法。因此，帽子是
浏览 0提问于2018-10-21得票数 0
我希望实现类似于类库Dask的行为，可以使用pip安装dask、dask[dataframe]、dask[array]和其他工具。他们通过使用带有包键的来实现它。如果我只安装dask，则没有安装dask[dataframe]，并且在执行模块时他们会警告您这一点。
我在诗歌文档中找到了，但是当我执行poetry build时，我只得到一个包含所有包的.whl文件。
如何将我的模块打包，以便能够使用诗歌安装库的特定部分？
浏览 1提问于2022-03-16得票数 2
回答已采纳
1回答
我在dask分布式系统中有scipy稀疏矩阵。我想把它转换成数组，并留在分布式系统中。我可以在我的本地机器上这样做： from scipy.sparse import coo_matrix
coo_matrix((3, 4), dtype=np.int8).toarray() 这将返回一个数组。我尝试转换稀疏矩阵，如下所示： from scipy import sparse
# Some code here
#
#
my_sparse_matrix = sparse.coo_matrix((3, 4), dtype=np.int8)
my_sparse_matrix = client.sca
浏览 6提问于2020-01-29得票数 0
回答已采纳
1回答
如何从应用于Dask系列的函数中返回多个值？我试图从dask.Series.apply的每一次迭代中返回一个系列，最后的结果是一个dask.DataFrame。
下面的代码告诉我元数据是错误的。然而，全熊猫版本起作用了。这里怎么了？
更新：--我认为我没有正确地指定元/模式。我该如何正确地做这件事？现在，当我放弃元参数时，它就起作用了。然而，它提出了一个警告。我想用达斯克“正确”。
import dask.dataframe as dd
import pandas as pd
import numpy as np
from sklearn import datasets
iris = dat
浏览 0提问于2019-03-05得票数 1
回答已采纳
1回答
我是Dask的新手，并使用行组将pandas Dataframe导出到Parquet： x.to_parquet(path + 'ohlcv_TRX-PERP_978627_rowgrouped.prq', row_group_size=1000) 然后我尝试用Dask加载它，它似乎工作正常(？)： x = dd.read_parquet(path + 'ohlcv_TRX-PERP_978627_rowgrouped.prq')
x
# Note: The dataframe has almost 2000 columns, I clipped them
浏览 15提问于2021-06-18得票数 1
1回答
我遵循在上找到的代码(“块然后分散”部分)，当我试图将一个pandas.DataFrame分散到工作人员时，我得到了一个奇怪的错误。
如果这件事重要的话，我正在工作。
我不知道这个错误是什么意思，这是相当神秘的，所以任何帮助都会非常感谢。
from dask_gateway import Gateway
import dask.dataframe as dd
import dask
gateway = Gateway()
options = gateway.cluster_options()
cluster = gateway.new_cluster(cluster_options=opti
浏览 3提问于2022-01-19得票数 2
回答已采纳
在我完成DASK代码之后，我一直收到"distributed.utils_perf - WARNING - full垃圾回收最近占用了19%CPU时间“的警告消息。我正在使用DASK做一个大型的地震数据计算。计算完成后，我会将计算出的数据写入磁盘。写入磁盘部分所需的时间比计算要长得多。在我将数据写入磁盘之前，我调用了client.close()，我假设我已经完成了DASK。但是"distributed.utils_perf - WARNING - full垃圾回收最近占用了19%的CPU时间“不断出现。当我进行计算时，我收到了3-4次这个警告消息。但是当我将数据写入磁盘时，每
浏览 185提问于2019-10-19得票数 7
1回答
是否可以在多线程环境下将分布式客户端实例作为单例使用？ # process start
from dask.distributed import Client
client = Client()
# thread-1
f = client.submit(some_work)
f.result()
# thread-2
f = client.submit(anothe_work)
f.result() 如何将异步Dask客户端与aiohttp一起使用？我应该为每个请求创建客户端实例吗？还是针对IOLoop线程？或者每个进程就足够了吗？
浏览 18提问于2020-10-31得票数 2
我使用dask/distributed向多节点集群提交函数的100+求值。每次评估都是非常昂贵的，大约需要90秒的CPU时间。尽管我注意到似乎有一个内存泄漏，并且所有的工作者都会随着时间的推移而增加大小，尽管我正在评估的函数不是纯的。以下是重现此行为的示例代码：
import numpy as np
from dask.distributed import Client
class Foo:
def __init__(self):
self.a = np.random.rand(2000, 2000) # dummy data, not really used
浏览 1提问于2017-11-01得票数 5
我安装了dask、dask-core和dask geopandas，如下所示： dask 2021.7.1 pyhd8ed1ab_0 conda-forge
dask-core 2021.7.1 pyhd8ed1ab_0 conda-forge
dask-geopandas 0.1.0a4 pypi_0 pypi 然而，在导入时，我一直收到一条错误消息： "ModuleNotFoundError:
浏览 158提问于2021-07-28得票数 0
回答已采纳
我有一个字符串列表，我想要构建一个dataframe，它给出了每对字符串之间的Jaro规范化相似性。包中有一个函数来计算它。松散地说，类似的字符串有接近1的分数，不同的字符串有接近0的分数。我的实际字符串列表大约有4000个字符串，因此有将近800万对字符串需要进行比较。
在我看来，这似乎是一种“令人尴尬的并行”计算。在dask中有什么方法可以做到这一点吗？一个额外的好处是有一个tqdm-style进度条和一个ETA。
from itertools import combinations
import pandas as pd
import textdistance
strings = [
浏览 13提问于2022-01-07得票数 3
1回答
我有一个包含几个dask系列的列表。每个系列都是布尔型的，长度相同。这里有三个元素的摘录，只是为了展示它们。
[Dask Series Structure:
npartitions=15
bool
...
...
...
...
Name: Sequence, dtype: bool
Dask Name: eq, 75 tasks, Dask Series Structure:
npartitions=15
bool
...
...
...
...
Name: Sequence, dtype: bo
浏览 0提问于2020-03-27得票数 2
我无法使用分布式集群处理这个块。
import pandas as pd
from dask import dataframe as dd
import dask
df = pd.DataFrame({'reid_encod': [[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10]]})
dask_df = dd.from_pandas(df, npar
浏览 4提问于2019-11-30得票数 1
回答已采纳
以下是我尝试过的：
dask_rf = dd.from_pandas(pd.read_sql('select ...)', conn_cx_Oracle), npartitions = 10)
这给了我一个“大对象”警告，并建议使用client.scatter。问题是，client.scatter似乎需要先将数据加载到Pandas数据中，这就是为什么我首先使用Dask，因为RAM的限制。
Oracle表太大，无法使用Dask的read_sql_table读取，因为read_sql_table不以任何方式过滤表。
想法？不适用于我的用例？
下面以及在研究了如何做到这一点之后，我尝
浏览 1提问于2019-08-12得票数 0
我正在尝试一个有赢/输的下拉列表，然后我想要检查选择是等于赢还是输，如果是NYKZ/AKZ/LKZ，然后在另一个选项卡中添加正确的单元格数据。这个是可能的吗？
浏览 6提问于2020-10-15得票数 0
回答已采纳
1回答
我正在使用Dask执行以下操作。
import dask.dataframe as dd
import pandas as pd
salary_df = pd.DataFrame({"Salary":[10000, 50000, 25000, 30000, 7000]})
salary_category = pd.DataFrame({"Hi":[5000, 20000, 25000, 30000, 90000],
"Low":[0, 5001,
浏览 7提问于2021-11-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
