1回答
我正在学习this教程，我能够并行化一个for循环，在这个循环中，操作是在多个文件上独立完成的。但是，现在我需要执行一个迭代函数，将变量从单个xarray数据集(源)提取到300个文件中。return('finished') 我设置了6个工作线程，为了在一个循环中运行这个函数300次，我实现了： source = xr.opendataset()for(*build_dela
浏览 8提问于2020-07-20得票数 1
回答已采纳
1回答
我有一个包含json格式列的dask dataframe，我希望将该列解析为dataframe格式。json格式的列如下所示：所以我只想提取"Name“的值，并使它们中的每个键都是一个列，每个值都是其中的一个值我想我们可以通过read_json将json文件读入dask dataf
浏览 5提问于2020-05-14得票数 2
我不了解dask分布式系统中的弹性模型。工人提出的异常会杀死令人尴尬的并行dask操作。如果任何员工遇到异常，所有员工和客户都会死亡。任何收集该结果的尝试或任何依赖的结果都会导致exception...This不会以任何方式影响调度程序或工作人员的顺利运行。”我在这里跟踪一个令人尴尬的并行</e
浏览 1提问于2018-12-22得票数 0
2回答
不带酸菜的并行化
、、、
Alex Gaynor在他的talk 中解释了pickle的一些问题，包括安全性、可靠性和人类可读性。我通常对我的python程序中的数据使用pickle很谨慎。一般来说，我更喜欢使用json或其他由我自己指定的序列化格式手动传递我的数据。
我感兴趣的情况是:我在我的python程序中收集了一些数据，我想在它上并行</e
浏览 0提问于2018-11-27得票数 2
我正在尝试运行一个python程序，该程序在某一时刻执行许多(数千)令人尴尬的并行进程，这些进程是以对其他软件的子进程调用的形式出现的。我在一个跨越多个不同节点的slurm集群上运行，每个节点都有多个核心。 我使用过mpi4py，但代码中的延迟导致我转向使用joblib。Joblib似乎是并行
浏览 17提问于2019-04-03得票数 2
在我看来，向量化与令人尴尬的并行问题密切相关。换句话说，所有可向量化的程序都必须是令人尴尬的并行程序。这是正确的吗？
浏览 0提问于2013-01-10得票数 4
1回答
调用result.compute(get=dask.async.get_sync)和result.compute(dask.threaded.get)都是有效的。但是，result.compute(dask.multiprocessing.get)不会并生成以下错误：
浏览 10提问于2016-11-03得票数 1
回答已采纳
1回答
我已经生成了两个长度为450,000,000的随机dask数组，我想把它们除以另一个。当我去计算它们时，计算总是在最后冻结。tornado.iostream.StreamClosedError: Stream is closed
我希
浏览 0提问于2018-12-22得票数 1
回答已采纳
2回答
我想知道在SQL上完成一个需要多少时间。我正在考虑一种情况，即：
是否有人有关于完成SQL Azure数据库副本的延迟信息，可能是数据库GB大
浏览 5提问于2012-08-08得票数 0
XGBoost使用加性训练的方法，其中它对前一个模型的残差进行建模。
这是顺序的，那么如何进行并行计算呢？
浏览 6提问于2015-12-08得票数 41
回答已采纳
1回答
我正在尝试使用dask来处理令人尴尬的并行工作负载。 例如，对两个大型数组逐个元素求和： x1 = ... sleep(0.001 + len(a) * 1e-5)
return a + b + 1 我找到了1似乎回答了这个问题，然而，我的函数并不是那么昂贵，并且可以一次计算任意数量的数据我真的很想把数据分块来避免OOM，而dask.a
浏览 30提问于2021-11-11得票数 0
所以我有一个包含160M记录和240列的拼图文件。因此，我使用dask在python中使用EMR CLuster m5.12xlarge加载它。这只需要几秒的时间来执行，并使用大约1.5 GB的内存。a_count = a_count.compute()
现在，在其中一列中，我希望所有记录的值都为null，然后执行与前面相同的操作，即value count。现在，我试图通过计算将其转换为pandas
浏览 1提问于2021-09-23得票数 0
我正在为编写一个测试应用程序，我需要一个简单的、令人尴尬的并行算法，该算法易于理解，但比向输入中添加一个算法稍微简单一些。有什么想法吗？
浏览 1提问于2012-04-24得票数 2
2回答
我正在将一个大的文本文件转换为hdf存储，希望能更快地访问数据。转换可以正常工作，但是从csv文件读取不是并行完成的。它真的很慢(在SSD上一个1 1GB的文本文件大约需要30分钟，所以我猜它不是IO绑定的)。df = d
浏览 3提问于2016-10-18得票数 29
回答已采纳
我的应用程序在我的四核机器上运行得很好。它是“令人尴尬的并行”，大约有100K进程，因此非常适合在一群机器上运行。但是，我很难找到关于如何在集群中的所有可用节点上分布所有这些进程的文档。分布式Erlang的文档似乎侧重于服务器-客户端应用程序，其中每个节点都是运行单个应用程序的</em
浏览 0提问于2009-04-19得票数 2
回答已采纳
对于长期运行的、令人尴尬的并行任务，使用多处理与并行运行多个python解释器有什么好处吗？目前，我正在启动几个python解释器，它们对输入数据进行分析，每个解释器都将结果转储到一个单独的泡菜文件中。对输入数据进行切片和组合结果是非常简单的。为此，我在OS和linux上使用python3.4。
用多处理模块重
浏览 2提问于2015-06-12得票数 1
回答已采纳
2回答
在许多情况下，科学家用模版模拟系统的动力学，这是将一个数学运算符转移到一个网格上。通常，这种操作消耗了大量的计算资源。是这个想法的一个很好的解释。在numpy中，编写2D 5点模板的规范方法如下： for j in range(cols):
grid[i, j] = ( grid[i,j] + grid[i-1,j] + grid[i+1,j] + grid[i,j-
浏览 2提问于2016-10-18得票数 4
回答已采纳
我目前正在使用Pandas和星火进行数据分析。我发现Dask提供并行化的NumPy数组和Pandas DataFrame。
Dask提供并行数组、数据帧、机器学习和自定义算法。Dask
浏览 4提问于2016-08-10得票数 101
当我尝试执行像dask_train_df.head()或dask_train_df.loc[2:4].compute()这样的简单操作时，我会得到内存错误，即使是使用17+ GB的内存。1)因此，我的问题是，为什么这些简单的操作会使用Dask Dataframe来破坏内存的使用，但是当我使用Pandas Dataframe将所有内容加载到内存中时
浏览 0提问于2018-12-24得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
