腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >使用分布式Dask调度程序重复执行任务

问使用分布式Dask调度程序重复执行任务
EN

Stack Overflow用户

提问于 2017-01-31 10:48:17

回答 1查看 962关注 0票数 5

我正在使用Dask分布式调度程序，在本地运行一个调度程序和5个工作人员。我向delayed()提交了一个compute()任务列表。

当任务数为20 (一个数字>>比工作人员数)并且每个任务至少需要15秒时，调度程序将开始重新运行某些任务(或多次并行执行任务)。

这是一个问题，因为任务修改了SQL，如果它们再次运行，最终会引发异常(由于db唯一性约束)。我不会在任何地方设置pure=True (我相信默认设置是False)。除此之外，Dask图是微不足道的(任务之间没有依赖关系)。

仍然不确定这是一个功能，还是一个错误在达克。我有种直觉觉得这可能和工人偷窃有关..。

python

dask

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-01-31 11:19:23

正确，如果一个任务被分配给一个工人，而另一个工作人员获得了自由，它可能会选择从它的同事那里窃取多余的任务。它有可能窃取刚刚开始运行的任务，在这种情况下，该任务将运行两次。

处理此问题的干净方法是确保任务是幂等的，即使运行两次，它们也返回相同的结果。这可能意味着在任务中处理数据库错误。

对于数据密集型计算工作负载来说，这是一种很好的策略，但对于数据工程工作负载则是非常糟糕的。设计一个同时满足这两个需求的系统是很棘手的。

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/41965253

复制

常见算法的时间复杂度 Ο(1)＜Ο(log2n)＜Ο(n)＜Ο(nlog2n)＜Ο(n2)＜Ο(n3)＜…

编程算法

说实话，我是真的不懂算法。但是，我知道一个算法的好坏，通常时间复杂度是一个评价的指标之一。

业余草

2019/06/20

8.6K0

时间复杂度O(n)和空间复杂度

编程算法

算法对于敲代码的应该都听过，不管是复杂的还是简单的，衡量算法效率的两个重要指标就是时间复杂度和空间复杂度。

wade

2020/04/24

7790

n2n动态路由异地组网方案

编译服务器路由配置网关

By HKL, on Friday 2021-07-23 18:51, tagged: 🏷️Linux 🏷️Operating 🏷️Networking

hiplon

2023/10/18

1.4K0

网络之NAT 和N2N V**

nat NAT 网关 node.js tcp/ip apt-get

N2N V** 应用指南 N2N 是一个P2P的开源V**项目，具有内网穿透成功率高，去中心化，流量加密，使用简单的特点，在笔者公司内部已经有近3年的使用经验，实践证明，N2N具备较为优秀的稳定性和安全性,，具备低成本替代专线需求的能力。在笔者的实践经验中，N2N用在多IDC之间的网络互通，多IDC上容器网络的互通。表现的都很出色。

Laikee

2022/04/25

2.2K0

c++ 字典顺序生成全排列，蛮力算法时间复杂度 Θ(n*n!)

编程算法 c++ide java

{1,2,3} 字典顺序全排列 {1,2,3} {1,3,2} {2,1,3} {2,3,1} {3,1,2} {3,2,1}

用户7886150

2021/02/05

8840

最长单调子序列复杂度nlog(n)

nlog

//最长单调子序列复杂度nlog(n) //参数(原序列,序列长度,生成的序列),传入序列长度必须大于0 //返回值中lengthRecord中前k项表示长度为k的最小字序列 //LIScmp为关系函数,原函数表明lengthRecord为递增(不含等于) typedef double LISTYPE; #define LISMAXN 10000 int LIScmp(LISTYPE a,LISTYPE b) { return a < b; } long LISLength(LISTYPE lis

owent

2018/08/01

3190

建堆时间复杂度是o(n)

https http 网络安全 node.js 二叉树

down_heapify() https://afteracademy.com/blog/operations-on-heaps book上用法

早起的鸟儿有虫吃

2021/06/25

2.5K0

BAT面试题43：log(n)时间复杂度下求n次幂

java

https://blog.csdn.net/weixin_42292229/article/details/86742650

double

2019/03/07

7510

21 N-Repeated Element in Size 2N Array

编程算法

In a array A of size 2N, there are N+1 unique elements, and exactly one of these elements is repeated N times.

devi

2021/08/18

4110

2022-07-17：1、2、3...n-1、n、n、n+1、n+2... 在这个序列中，只有一个数字有重复(n)。这个序列是无序的，找到重复数字n。这个序

java rust 指针

2022-07-17：1、2、3...n-1、n、n、n+1、n+2...在这个序列中，只有一个数字有重复(n)。这个序列是无序的，找到重复数字n。这个序列是有序的，找到重复数字n。答案2022-07-17：不能用哈希表。第一问，两种方法，快慢指针找环问题和异或法。第二问，二分法。代码用rust编写。代码如下：use rand::Rng;use std::collections::HashSet;fn main() { let nn: i32 = 10; let test_time: i32 =

福大大架构师每日一题

2022/07/17

8540

去掉 Attention 的 Softmax，复杂度降为 O (n)

机器学习神经网络深度学习人工智能

众所周知，尽管基于 Attention 机制的 Transformer 类模型有着良好的并行性能，但它的空间和时间复杂度都是 O(n2)\mathcal {O}(n^2) 级别的，nn 是序列长度，所以当 nn 比较大时 Transformer 模型的计算量难以承受。近来，也有不少工作致力于降低 Transformer 模型的计算量，比如模型剪枝、量化、蒸馏等精简技术，又或者修改 Attention 结构，使得其复杂度能降低到 O(nlog⁡n)\mathcal {O}(nlog⁡n) 甚至 O(n)\mathcal {O}(n)

mathor

2021/05/12

1.2K0

n2n使用和编译（以及未解决的问题）

node.js

armbian需要提前安装cmake gcc等软件，以及： apt-get install pkg-config

Laikee

2022/04/25

1.1K0

LeetCode 961. N-Repeated Element in Size 2N Array

编程算法 python

In a array A of size 2N, there are N+1 unique elements, and exactly one of these elements is repeated N times.

Angel_Kitty

2019/01/30

5440

java - 手写LRU(使用链表，时间复杂度O(n))

存储链表

最简单的LRU实现，底层存储采用链表结构，时间复杂度为O(n) 代码如下: package com.jfp; /** * @author jiafupeng * @desc * @create 2021/3/12 15:58 * @update 2021/3/12 15:58 **/ public class Test { public static void main(String[] args) { LRUCache lruCache = new LRUCache

夹胡碰

2021/03/19

8150

MapReduce：N keys，N files

mapreduce hadoop java hashmap

MapReduce中，不管是map阶段还是reduce阶段，二者的输入和输出都是key，value类型的值。现在有个需求是根据map阶段返回值key的个数，生成相应个数的文件。也就说一个key写到一个文件中，每个文件只能包含一个key。

2018/12/14

8340

求m的n次方（优化时间复杂度）

编程算法

假设m为3，n为9，公式为：3 x 3 x 3 x 3 x 3 x 3 x 3 x 3 x 3 = 19683

余生大大

2022/11/02

8770

[剑指offer] 求1+2+3+…+n

其他

题目描述求1+2+3+…+n，要求不能使用乘除法、for、while、if、else、switch、case等关键字及条件判断语句（A?B:C）。解题思路累加不能用循环的话，那就试试递归吧。

尾尾部落

2018/09/04

4570

12:计算2的N次方

编程算法数据结构

12:计算2的N次方查看提交统计提问总时间限制: 1000ms 内存限制: 65536kB描述任意给定一个正整数N(N<=100)，计算2的n次方的值。输入输入一个正整数N。输出输出2的N次方的值。样例输入 5 样例输出 32 提示高精度计算 1 #include<iostream> 2 #include<cmath> 3 #include<cstdio> 4 #include<cstring> 5 using namespace std; 6 int n;

attack

2018/04/11

2.1K0

究竟为什么，快速排序的时间复杂度是n*lg(n)？ | 经典面试题

编程算法

partition使用第一个元素t=arr[low]为哨兵，把数组分成了两个半区：

架构师之路

2021/11/10

1.6K0

MapReduce：N keys，N files（二）

其他

如果你看了MapReduce：N keys，N files（一）这篇文章，并按其介绍的方法尝试去将N个key映射到N的文件中，你会发现分割后数据量比分割前的要多，并且有些文件不能正常读取。用presto读取的话，可能会报这种错：

2018/12/14

8110

相似问题

在IIS日志文件夹上使用NTFS压缩是很好的做法吗？

从ssl证书中删除密码是很好的做法吗？

让nginx在/tmp目录中提供文件是很好的做法吗？

ROBOCOPY是一种很好的备份工具吗？

使用Rsync备份外部驱动器

110

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问使用分布式Dask调度程序重复执行任务
EN