无需重新创建图形即可更改dask延迟输入
Dask是一个用于并行计算的灵活的开源库，它可以在大规模数据集上进行高性能计算。Dask延迟输入是指在Dask中，可以通过修改已创建的图形来更改计算的输入数据，而无需重新创建整个图形。
Dask延迟输入的优势在于它可以提高计算的灵活性和效率。通过延迟输入，我们可以在不重新计算整个图形的情况下，仅仅修改输入数据，从而节省计算资源和时间。这对于大规模数据集的处理非常有用，因为重新计算整个图形可能是非常耗时的。
Dask延迟输入的应用场景包括但不限于以下几个方面：
- 数据分析和处理：在数据分析过程中，我们经常需要对不同的数据集进行相似的计算操作。使用Dask延迟输入，我们可以通过修改输入数据来重复使用已经定义好的计算图形，从而提高数据处理的效率。
- 机器学习和深度学习：在机器学习和深度学习任务中，我们通常需要对不同的训练数据进行模型训练和推理。使用Dask延迟输入，我们可以通过修改输入数据来重复使用已经定义好的模型计算图，从而加速模型训练和推理的过程。
- 大规模数据处理：在处理大规模数据集时，我们可能需要对数据进行多次计算和转换。使用Dask延迟输入，我们可以在不重新计算整个图形的情况下，仅仅修改输入数据，从而提高数据处理的效率。
对于Dask延迟输入的具体实现和使用方法，可以参考腾讯云的Dask相关产品和服务。腾讯云提供了Dask on Tencent Cloud（https://cloud.tencent.com/product/dask）等产品，可以帮助用户在云端快速搭建和管理Dask集群，并提供高性能的计算资源和数据存储服务，以支持延迟输入的应用场景。
总结：Dask延迟输入是一种在Dask中修改计算图形的输入数据而无需重新创建整个图形的技术。它提供了灵活性和效率，适用于数据分析、机器学习、大规模数据处理等场景。腾讯云提供了相关产品和服务，可帮助用户实现延迟输入的应用。
相关·内容
我有一个最初使用concurrent.futures.ProcessPoolExecutor运行的计算工作量，我将其转换为使用dask，这样我就可以利用dask与分布式计算系统的集成来扩展到一台机器之外。工作负载由两种任务类型组成：
Task :接受字符串/浮点数输入并生成一个矩阵(大约为2000x2000)。任务持续时间通常是60秒或更短。任务B:从任务A获取矩阵，并使用它和其他一些小输入来求解一个常微分方程。解决方案被写入磁盘(因此没有返回值)。任务持续时间最长可达15分钟。
每个A任务可以有多个B任务。
最初，我的代码如下所示：
a_results = client.map(calc_a
浏览 2提问于2021-07-19得票数 1
回答已采纳
1回答
我有这样的代码，它调用一个@delayed函数，该函数以N个dask数据格式作为输入，并返回一个dataframe作为输出。
有两个问题：(1)函数内部的数据类型是熊猫而不是达斯克；(2)当我得到函数的结果时，它也是熊猫而不是达斯克。
作为熊猫数据输入而不是达克，@delayed背后的逻辑是什么？我只需要和达克数据处理一起工作。
这是代码：
df = pd.DataFrame({
'height': [6.21, 5.12, 5.85, 5.78, 5.98],
'weight': [150, 126, 133, 164, 203]
})
d
浏览 4提问于2022-03-04得票数 0
回答已采纳
我的Dask .visualize()不能正确显示图形。代码取自http://github.com/dask/dask-tutorial/ 01_dask.delayed.ipynb notebook。 我使用pip和apt安装了graphviz。即使显示了图形，它也不会完全显示。我正在jupyter Lab上运行代码 def inc(x):
return x + 1
def double(x):
return x + 2
def add(x, y):
return x + y
data = [1, 2, 3, 4, 5]
output = []
for x
浏览 45提问于2018-12-27得票数 3
回答已采纳
我正在用Dask构建一个计算图。有些中间值将被多次使用，但我希望这些计算只运行一次。我一定是犯了个小错误，因为这不是事实。下面是一个很小的例子：
In [1]: import dask
dask.__version__
Out [1]: '1.0.0'
In [2]: class SumGenerator(object):
def __init__(self):
self.sources = []
def register(sel
浏览 6提问于2021-04-14得票数 3
回答已采纳
这是pure在Dask中的有效使用吗？
让我们假设bar在计算过程中从未改变过，但是在我设置计算时它可能会改变。
from dask import delayed
class a:
def __init__(self):
self.bar = 1
def foo(self, b):
return self.bar + b
def dask_foo(self, b):
return delayed(self.foo, pure=True)(b)
浏览 1提问于2018-06-30得票数 2
回答已采纳
我在fonts.com上购买了一个字体，并在osx上安装了font-suitcase。然后我重启了我的mac。
TextEdit是一款原生的osx应用程序，可以识别这种字体。然而，我的免费矢量图形程序: Inkscape并非如此。基于Java的OpenOffice也不需要。
我需要一个解决方案:要么是一个原生的osx矢量图形程序，要么是一种让免费图形程序识别我的字体的方法。
我也需要一个拥抱。
浏览 3提问于2011-12-16得票数 0
回答已采纳
我有一个文件夹，里面有497个熊猫的数据文件，存储在.parquet文件中。文件夹总维度为7.6GB。
我在尝试开发一个简单的交易系统。所以我创建了两个不同的类，其中一个是Portfolio类，然后这个类为数据文件夹中的每个数据文件创建一个Asset对象。
import os
import pandas as pd
from dask.delayed import delayed
class Asset(file):
def __init__:
self.data_path = 'path\\to\\data\\folder\\'
s
浏览 4提问于2017-11-22得票数 3
1回答
处理大熊猫数据帧
、、、、
我有一个巨大的数据库(500 it左右)，它可以放进熊猫里。数据库包含大约39705210个观测结果。正如您可以想象的那样，python甚至在打开它时都很困难。现在，我尝试使用Dask将其导出到cdv到20个分区，如下所示：
import dask.dataframe as dd
dask_merge_bodytextknown5 = dd.from_pandas(merge_bodytextknown5, npartitions=20) # Dask DataFrame has 20 partitions
dask_merge_bodytextknown5.to_csv('df_
浏览 2提问于2022-06-29得票数 2
回答已采纳
我正在使用dask延迟函数，在函数上使用@dask.delayed装饰器时，我熟悉dask的do's和don。我意识到，有时我需要调用compute()两次才能得到结果，尽管我认为自己遵循了最佳实践。也就是说，不要在另一个dask延迟函数中调用dask延迟函数。
我在两个场景中遇到了这个问题:当有嵌套函数时，以及在类中调用成员函数时，类成员是延迟对象。
@dask.delayed
def add(a, b):
return a + b
def inc(a):
return add(a, 1)
@dask.delayed
def foo(x):
return
浏览 2提问于2019-07-09得票数 1
回答已采纳
2回答
我有一个定制的文件格式，我想要懒洋洋地加载和处理，如果它是一种数据格式，它将是有用的。
我已经有了一个函数来创建熊猫的数据格式，但是运行起来代价很高。dask.dataframe.from_delayed逻辑地合并所有数据帧，就好像它们是一个可迭代的数据帧一样。当调用时，from_delayed遍历迭代(示例代码中的生成器)并创建延迟(pd.dataframe)的。
我的问题是，需要读取数据集才能生成数据格式，但我希望尽可能晚地读取文件(在生成器上迭代)。
def gen():
for i in range(10):
sleep(10) #Looping this generato
浏览 5提问于2022-05-04得票数 0
1回答
我试图使用这样的方式来使用dask分发来并行一个嵌套循环：
@dask.delayed
def delayed_a(e):
a = do_something_with(e)
return something
@dask.delayed
def delayed_b(element):
computations = []
for e in element:
computations.add(delayed_a(e))
b = dask.compute(*computations, scheduler='distributed
浏览 1提问于2019-03-10得票数 0
回答已采纳
1回答
全。我正在使用Dask分布式集群在循环中编写Zarr+Dask支持的Xarray数据集，而dataset.to_zarr正在阻塞。当存在阻碍循环继续的掉队块时，这真的会减慢速度。有没有一种方法可以异步执行.to_zarr，这样循环就可以继续下一次数据集写入，而不会被几个掉队的块阻塞？
浏览 39提问于2019-12-11得票数 2
回答已采纳
在下面的dask代码中，我在执行两个map_partitions之前将x设置为1和2。结果似乎很好，但我并不完全理解。
如果dask只有在找到map_partitions时才等待运行这两个compute()，并且在找到compute() x时是2，那么dask如何知道x=1在第一个map_partitions中
pdf = pd.DataFrame({
'id': [1, 1, 1, 2, 2, 3, 4, 1, 2, 2, 1],
'balance': [150, 140, 130, 280, 260, 220, 230, 330, 420,
浏览 9提问于2022-06-02得票数 1
回答已采纳
在python中，我如何将数组的子集写入磁盘，而不将整个数组保存在内存中？ xarray输入/输出文档指出，除非通过dask.array流式传输，否则xarray不支持增量写入，仅支持增量读取。(此外，修改数据集仅影响内存中的副本，而不影响连接的文件。)dask文档建议在每次操作后保存整个数组？
浏览 11提问于2019-04-08得票数 1
给定一个dask.delayed任务，我希望获得该任务的所有输入(父级)的列表。
例如,
from dask import delayed
@delayed
def inc(x):
return x + 1
def inc_list(x):
return [inc(n) for n in x]
task = delayed(sum)(inc_list([1,2,3]))
task.parents ???
生成以下图表。我如何才能得到sum#3的父母，使其产生一个[inc#1, inc#2, inc#3]列表
浏览 1提问于2017-12-01得票数 1
回答已采纳
Dask给我留下了非常深刻的印象，我正在尝试确定它是否是解决我问题的合适工具。我正在构建一个交互式数据探索项目，其中用户可以交互式地更改图形的参数。有时，这些更改需要重新计算整个流水线以生成图形(例如，“显示来自不同时间间隔的数据”)，但有时不需要。例如，“更改平滑参数”不应该要求系统重新加载原始的未平滑数据，因为底层数据是相同的，只有处理过程发生了变化。系统应改为使用已加载的现有原始数据。我希望我的系统能够保留中间数据对象，并根据数据可视化的参数发生变化，智能地确定图中的哪些任务需要重新运行。看起来Dask中的缓存系统很接近我的需求，但在设计时考虑到了一些不同的用例。我看到有一个persis
浏览 2提问于2020-05-25得票数 1
闪亮的帮助论坛似乎帮不了我解决这个问题。
我有一个来自特定包的命令，它输出一个图形。该命令需要通过在同一包中定义的不同命令进行初步处理输入。因此，我的计划是创建一个应用程序，用户可以交互更新地图。据我所见，这将需要2个操作按钮：“action按钮A”将重新运行带有"checkboxGroupInput“输入的初步处理命令。"actionbutton“将使用初步处理命令中的新输入来更新图形。
#ui.R
checkboxGroupInput("column_choices", "column choice", colnames(data
浏览 8提问于2016-05-10得票数 0
回答已采纳
我阅读了我的地板数据如下：
file_names = glob.glob('./events/*/*/*/*/*/part*.parquet')
pf = fp.ParquetFile(file_names, root='./events')
pf.cats = {'customer': pf.cats['customer']}
dfs = (delayed(pf.read_row_group_file)(rg, pf.columns, pf.cats) for rg in pf.row_groups)
df = dd.from_
浏览 1提问于2018-03-25得票数 1
回答已采纳
我在一台机器上使用Dask (LocalCluster有4个进程，16个线程，68.56 to内存)，当我试图一次计算两个共享依赖关系的结果时，遇到了工作内存问题。
在下面显示的示例中，仅用一次计算就可以很好地快速计算result，工作人员的总内存使用量最高可达1 1GB左右。但是，当使用两次计算来计算results时，当总内存使用量约为40 is时，工作人员会迅速耗尽所有内存，并开始写入磁盘。计算最终将完成，但一旦开始写入磁盘，就会有一个巨大的减速。
直观地说，如果读入一个块，然后立即计算它的两个和，那么该块可以被丢弃，并且内存使用率保持在较低水平。然而，看起来Dask正在优先加载数据，而不
浏览 18提问于2021-02-27得票数 2
回答已采纳
1回答
我正在创建一个函数，该函数读取整个文件夹，创建一个Dask数据帧，然后处理该数据帧的分区并对结果求和，如下所示： import dask.dataframe as dd
from dask import delayed, compute
def partitions_func(folder):
df = dd.read_csv(f'{folder}/*.csv')
partial_results = []
for partition in df.partitions:
partial = another_function(partit
浏览 6提问于2021-02-04得票数 1
回答已采纳
我有一种恼人的情况，我的一些拼花文件有：
x: int64
而其他人
x: int64 null
因此(在dask 2.8.0/numpy 1.15.1/大熊猫0.25.3中)，我无法运行以下内容：
test: Union[pd.Series, pd.DataFrame, np.ndarray] = dd.read_parquet(input_path).query(filter_string)[input_columns].compute()
有人知道我能做些什么，除非升级dask/numpy (我知道最近的dask/numpy似乎有效)？
提前感谢！
浏览 2提问于2021-08-02得票数 0
1回答
带期货的Dask计算子图
、、、
我想提交一个dask任务，它将执行以下操作：
使用dask.bag (def fakejob)构建一个懒惰的dask图
计算1中的图形，并将其保存到拼花中(将此部分去掉，只是一个动机)。
我需要对多个输入这样做，所以我一直试图像这样使用dask.distributed的未来特性。
from dask.distributed import Client
client = Client(processes=True)
def fakejob(path):
return (
dask.bag
.read_text(path)
浏览 3提问于2017-07-26得票数 2
回答已采纳
我无法使用分布式集群处理这个块。
import pandas as pd
from dask import dataframe as dd
import dask
df = pd.DataFrame({'reid_encod': [[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10],[1,2,3,4,5,6,7,8,9,10]]})
dask_df = dd.from_pandas(df, npar
浏览 4提问于2019-11-30得票数 1
回答已采纳
我希望从使用Dask延迟的简单示例中可以看到，我基本上可以从scikit复制gridsearchcv --使用以下几个函数调用来学习。该模型似乎永远不适合(model.fit(.))因为循环的其余部分还在继续(pred(.))？
我如何嵌套函数有问题吗？我知道有一个用于dask的gridsearchcv，但问题是我的真实模型是一个多输入的Keras，而且您不能以'X‘的形式传递一个3d数组。在没有Dask的情况下，代码的串行工作很好。
下面是一个可复制的小例子：
import dask
import pandas as pd
import numpy as np
from sklear
浏览 1提问于2018-07-07得票数 0
我把它分为两个部分，背景和问题。问题就在最底层。
背景：
假设我想(使用distributed)做一个令人尴尬的并行计算，比如对16个巨大的数据进行求和。我知道使用CUDA，这将是非常迅速的，但是让我们继续关注这个例子吧。
实现这一目标(使用延迟)的一个基本方法是：
from functools import reduce
import math
from dask import delayed, compute, visualize
import dask.distributed as dd
import numpy as np
@delayed
def gen_matrix():
浏览 0提问于2021-05-10得票数 2
回答已采纳
1回答
我想把我的df分成两个df。 import dask
import dask.dataframe as dd
df = dd.read_csv(r'D:\Amr\Amr.csv',error_bad_lines=False, engine="python")
import numpy as np
dfs = dask.delayed(np.split)(df,2)
df0=dfs[0]
dask.delayed(df0.to_csv)('file1.csv', header=False, index=False) 结果显示，Delayed(&#
浏览 15提问于2021-03-23得票数 0
回答已采纳
当我在edmx文件的图形视图中创建实体时。我的所有实体类都捆绑在设计器文件中。有没有办法让Entity Framework在单独的文件中创建类，让我对实体类有更多的控制？
浏览 1提问于2010-07-31得票数 2
回答已采纳
我在Windows中使用Delayed和Futures正确地使用了Dask.distributed，但今天在使用以下命令更新我的anaconda环境后遇到了问题： conda update conda
conda update anaconda
conda update spyder 以前起作用的东西现在不起作用了。甚至下面这段简单的代码也不能工作： from dask.distributed import Client
client = Client(n_workers=4)
from time import sleep
def inc(x):
sleep(1)
re
浏览 10提问于2020-03-27得票数 1
回答已采纳
1回答
我有一份delayed的字典清单。每个delayed对象的计算值必须转换为dask.Dataframe中的一个条目。 dfs = []
for source_list in list_of_list:
values1 = {}
values2 = {}
for source in source_list:
intermediate = dask.delayed(myfunc)(source)
source_name = string_manipulation(source)
values1[source_name]
浏览 26提问于2020-07-28得票数 0
1回答
如何读取数据并删除坏行
、、、、
我试图使用dask聚合一个包含多行坏数据的大型(66 of )数据库。
由于dask没有删除坏行的功能，所以我第一次将所有数据作为熊猫数据读取，并删除坏行。然后，我将此转换为dask数据帧。我的代码如下：
导入dask.dataframe作为dd从dask.distributed导入客户端导入熊猫
#Groups the average Thresholds by NEATGeneration and finds the mean, standard deviation, minimum and maximum of the data
def group(df):
res = df.g
浏览 2提问于2020-02-21得票数 1
1回答
我在一些数据上进行了一系列的计算，我将这些数据建模为dask延迟的图，并且工作得很好，但是创建图本身所需的时间(或相当的时间)比运行计算所需的时间要长。
我全天都在添加数据，所以希望能够在不重新创建图形的情况下更改输入，有什么方法可以做到这一点吗？
浏览 15提问于2021-03-06得票数 1
回答已采纳
我们在不同的分支上为我们的应用程序开发新模块。当它们被测试后，它们被合并到缺省分支中。当我们需要对模块进行更改时，我们重新打开分支，进行更改，测试，最后再次合并到默认分支中。
有时，在更新模块时，我们会识别核心代码中的bug。通常，我们会修复bug，然后将更改提交回默认分支。但是，因为我们在模块分支中，所以我们必须重新打开"default“。
这并没有达到预期的效果，因为我们最终得到了2个默认分支。
那么，当您在另一个分支中而又不丢失更改时，提交到“默认”的正确方法是什么？(最好使用TortoiseHg)。
下面是TortoiseHg对话框的屏幕截图，在该对话框中我选择了"de
浏览 0提问于2011-11-18得票数 4
回答已采纳
1回答
我想从Dask Dataframe列创建一个列表/集合。基本上，我希望使用此列表通过将值与此数据帧中的列进行匹配来过滤另一个数据帧中的行。我尝试过使用list(df[column])和set(df[column])，但它们花费了很多时间，最终导致创建集群时出现错误，有时当达到内存限制时，它会重新启动内核。 我可以使用dask.bag或多处理来创建列表吗？
浏览 10提问于2020-12-31得票数 0
回答已采纳
我正在努力将字典的dask.bag转换为dask.delayed pandas.DataFrames，使之成为最终的dask.dataframe
我有一个函数(make_dict)将文件读入相当复杂的嵌套字典结构，另一个函数(make_df)将这些字典转换为pandas.DataFrame (由此产生的数据为每个文件大约100 mb )。为了进一步分析，我想将所有数据文件附加到一个dask.dataframe中。
到目前为止，我一直在使用dask.delayed对象来加载、转换和附加所有工作正常的数据(参见下面的示例)。但是，对于以后的工作，我想使用dask.bag将加载的字典存储在dask.
浏览 3提问于2019-03-22得票数 5
回答已采纳
我想定义一种创建数据数据的方法(例如，用于拆分的特定标准)或手动创建数据数据的方式。
情况：我有一个函数，它遍历大型数据框架的一个子集。遍历可以限制在与某个键匹配的所有行中。因此，我需要确保这个键不会被分割到多个分区上。目前，我正在手动拆分输入数据帧(Pandas)，并使用multiprocessing分别处理每个分区。
我很想使用Dask，因为它很容易使用，所以我也使用它来进行其他计算。但是，为了以后使用map_partitions，我找不到一种手动定义输入数据分割方式的方法。
还是我走在一条完全错误的道路上，其他的达斯克方法该怎么办？
浏览 1提问于2020-07-02得票数 0
我有一个简单的表单，有两个number类型的输入框。当我试图通过指令添加max属性时，它似乎忽略了它，并且不会验证，尽管属性是添加到元素上的。，当我将它内联的时候，它起作用了，，.I，引用了这个问题，，但是这似乎对angularJS中的me.New没有帮助，而且完全没有意义。
任何帮助都很感激。
编辑:更新的小提琴演示
浏览 0提问于2013-04-05得票数 2
问题综述
短版
我怎样才能从一袋潘达斯DataFrames变成一只达克DataFrame？
长版
我有许多文件无法被dask.dataframe的各种read函数(例如dd.read_csv或dd.read_parquet)读取。我有自己的函数，可以将它们读入Pandas DataFrames (函数一次只对一个文件工作，类似于pd.read_csv)。我想让所有这些单一的熊猫DataFrames在一个大达克DataFrame。
最小工作示例
下面是一些CSV数据示例(我的数据实际上并不在CSV中，但在这里使用它是为了方便示例)。要创建一个最低限度的工作示例，可以将其保存为CSV并复制几个副本
浏览 10提问于2019-12-13得票数 3
回答已采纳
2回答
我有Dask系列的Dask数据帧。
我想在本系列中建立索引，以获取dask数据帧以供后续工作使用。
但是，使用loc[0]会导致另一个dask系列。使用to_frame也不起作用，因为结果是"Dask系列Dask数据帧的Dask数据帧“。
下面是一个使用Dask系列Pandas数据帧的最小示例(不完全相同，但说明了问题)：
import pandas as pd
import dask.dataframe as dd
pdf1 = pd.DataFrame({'a': [1,2,3,4], 'b': [4,3,2,1]})
pdf2 = pd.Data
浏览 3提问于2020-02-03得票数 1
1回答
我需要将SQL表中的条目读取到dask数据帧中，以处理我需要读取的条目数量可能会超过内存中可以容纳的条目数量如何使用dask完成此操作？
我正在做这件事
def get_frame_from_query(query, column_names):
frames = []
batch = []
# TODO ask stackoverflow about this.
for row in database_conn.FetchManyIter(query,batch_size=30000): #read from the database 30k rows at
浏览 13提问于2020-03-04得票数 1
回答已采纳
我想我遗漏了一些东西(仍然是Dask Noob)，但我正在尝试分批处理的建议，以避免在这里执行太多的Dask任务：
也不能让他们发挥作用。这就是我试过的：
import dask
def f(x):
return x*x
def batch(seq):
sub_results = []
for x in seq:
sub_results.append(f(x))
return sub_results
batches = []
for i in range(0, 1000000000, 1000000):
result_batch = d
浏览 0提问于2019-06-05得票数 0
1回答
如何将dask数据按降序排序？
、、、、
显然，dask中不存在升序关键字，这很有趣，因为dask被设计成类似于pandas。这样做是行不通的：
res = (ddf
.groupby(['An important column'])
.mean()
.sort_values('Score', ascending=False)
.compute()
)
使用dask进行降序排序的最佳方法是什么？
> NotImplementedError: The ascending= keyword is not supported
达斯克版本：2021.4.0
浏览 3提问于2021-04-21得票数 0
我正在尝试配置jupyterlab dask扩展，以便“新建”集群按钮将创建一个KubeCluster，而不是默认的LocalCluster。
已尝试编辑~/.config/dask/labextension.yml，因此它将包含以下内容：
kubernetes:
worker-template:
metadata:
spec:
restartPolicy: Never
containers:
- args:
- dask-worker
- --nthreads
- '2
浏览 4提问于2020-02-23得票数 2
1回答
我想在“老板来了”之后画字符串，在字符串消失后，我想画博斯。我有图形和字符串，所以我的问题是如何为字符串和图形添加计时器？
浏览 0提问于2016-07-14得票数 2
从列表的dask.Series创建dask.array的最有效方法是什么？该系列由500万个元素列表300组成。它当前被划分为500个分区。目前我正在尝试：
pt = [delayed(np.array)(y)
for y in
[delayed(list)(x)
for x in series.to_delayed()]]
da = delayed(dask.array.concatenate)(pt, axis=1)
da = dask.array.from_delayed(da, (vec.size.compute(), 300), dtype=fl
浏览 18提问于2017-12-26得票数 1
回答已采纳
我想开发一个考虑到以下算法的程序：
任务A和任务B是任务C的前身。它们都有开始日期和结束日期。如果任务B的结束日期被延迟，那么Task的开始日期也会被延迟。这是最简单的例子。然而，在大多数情况下，图形将变得越来越复杂。
我应该使用什么算法来更新每个任务的开始日期和结束日期，而不仅仅是递归检查？
谢谢
浏览 1提问于2013-11-08得票数 0
回答已采纳
为了，例如，在整个轴上应用一个用Numpy/Numba编码的IIR过滤器，我需要用m1 < m0将一个size=(M, N) dask数组从chunks=(m0, n0)重新分块到chunks=(m1, N)。 由于Dask避免了重复的任务，因此在重新分块/重新分块合并期间，它将拥有价值(m0, N) (x 2?)的数据。在内存中。有没有一种优化图表的方法来避免这种行为？ 我知道在哪里可以找到手动优化Dask图的信息。但是，有没有一种方法可以调整调度策略以允许重复任务，或者(自动)重新排列图形，以便在此rechunk期间最大限度地减少内存使用？ 下面是一个最小的例子(对于chunks=
浏览 16提问于2019-03-24得票数 2
回答已采纳
1回答
我有一个jfreechart，它在用户单击按钮后出现。当用户使用不同的数据集再次单击该按钮时，应该重新绘制图形。我的问题是，当用户第二次单击按钮时，即使是新的图形也会显示出来，当用户单击图形中的任何其他位置时，它都会消失，而前一个图形会出现。
请在这方面帮帮我。
这就是创建图形的位置。
public JFreeChart createChart() throws FileNotFoundException, IOException {
userAligner.userRecord();
userAligner.diffVoiceText();
// aligner
浏览 2提问于2011-03-10得票数 3
我已经使用Angular和Java Spring Boot创建了一个Jhispter应用程序。我对Angular代码进行了更改，这些更改不会反映整个应用程序的构建时间。
npm start -在上构建应用程序，但当我使用mvnw -它在上运行时，它不会反映UI更改。我试着安装软件包，并给了webpack构建。
显示上用于测试UI与Java集成的更改。
浏览 0提问于2019-09-30得票数 0
1回答
我需要读取mongo_db转储BSON文件。
我正在考虑如何通过编写自定义的DASK bson_reader来读取这些文件。
问题是解析mongo_db BSON文件并遍历所有文件。当迭代时，BSON需要找到BSON块的结尾，以分离每个文件块并防止将整个文件加载到内存中。pymongo bson模块可以做到这一点，但是只返回一个文件迭代器，这个迭代器不能用于例如:dask.bug.load_csv(文件).map(迭代器)。
写自定义dask.bug.bson_read的样板是什么？或者有什么想法？
浏览 2提问于2020-03-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
