Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >框架适用于大规模的分布式调度任务队列。

框架适用于大规模的分布式调度任务队列。
EN

Stack Overflow用户
提问于 2015-01-29 07:09:29
回答 1查看 1.3K关注 0票数 3

我需要构建一个系统,这个系统至少需要10万个工作岗位,创建一天的/scheduled。我查看了多个任务队列,但是对调度的支持不多,比如以分布式方式调度,一个好的解决方案似乎是芹菜(我是一个java的家伙,我不能使用python),

Akka (这看起来是一个很好的解决方案,可伸缩、持久等等,但是调度似乎有一个限制,比如我需要根据用户请求在一天中的不同时间安排100000个作业),如果我错了,请纠正我。

我不需要和分布式锁来调度,而是需要异步并发。请提出替代方案。打开scala/java/javascript作为一种语言。

石英是不可伸缩的(有一些严重的限制),我必须每天发送大约3亿条信息,这些信息将通过100000个工作岗位传递。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-01-30 00:52:13

如果您担心Akka调度程序的准确性,那么一旦我发现自己处于相同的情况,我会告诉您我的解决方案。对于这种场景,也许有更好的实践,但这个方案对我来说效果很好。如有任何改进和建议,我将不胜感激。不是很长时间间隔的调度工作,我创建了一个调度器,它向自己发送滴答,以便知道什么时候应该执行工作。假设您想安排一些从date A到date B的工作,并执行每个T时间单位(这可能是毫秒到几年)。然后,我的演员所做的就是调度(使用正常的Akka调度程序),在当前时间和它应该执行第一项工作的时间间隔的一半的时间上进行一次滴答。这基本上是二进制搜索。这样,演员就不会一直滴答作响,在正确的时间执行工作也会非常准确。有关更多信息,请参见下面的Java代码:

代码语言:javascript
运行
AI代码解释
复制
public class WorkScheduler extends UntypedActor {

    public static Props props(final Date from, final Date to, final long every, final TimeUnit unit) {
        return Props.create(new Creator<WorkScheduler>() {
            private static final long serialVersionUID = 1L;

            @Override
            public WorkScheduler create() throws Exception {
                return new WorkScheduler(from, to, every, unit);
            }
        });
    }

    // Thresholds to avoid ticking at very long (or very short) intervals 
    private static final long MIN_TICK_DELTA = 1000 // 1 sec.
    private static final long MAX_TICK_DELTA = 21600000 // 6 hours

    private class Tick extends Message {
    }

    private long from;
    private long to;
    private long dt;
    private long checkpoint;

    public WorkScheduler(Date from, Date to, long every, TimeUnit unit) {
        this.from = from.getTime();
        this.to = to.getTime();
        this.dt = unit.toMillis(every);
    }

    @Override
    public void preStart() throws Exception {
        scheduleNextTick(); // The first tick
    }

    private void scheduleNextTick() {
        long t = new Date().getTime();

        // Compute next checkpoint
        if (t < from) {
            checkpoint = from;
        } else {
            long k = (t - from) / dt;
            if ((t - from) % dt != 0) ++k;
            checkpoint = from + k * dt;
        }

        if (checkpoint > to) { // All works executed. Shutdown.
            getContext().stop(self());
        } else { // Schedule next tick
            long delta = Math.max(MIN_TICK_DELTA, Math.min((checkpoint - t) / 2, MAX_TICK_DELTA));
            getContext().system().scheduler().scheduleOnce(
                    FiniteDuration.apply(delta, TimeUnit.MILLISECONDS),
                    self(),
                    new Tick(),
                    getContext().dispatcher(),
                    null);
        }
    }

    @Override
    public void onReceive(Object msg) throws Exception {
        if (msg instanceof Tick) {
            long t = new Date().getTime();
            if (t >= checkpoint) {
                if (t >= checkpoint + dt) // Tick came too late, due to some external delay (like system restart)
                   ;

                // execute work here, preferably spawning a new actor 
                // responsible for doing the work in asynchronous fashion
            }
            scheduleNextTick();
        } else
            unhandled(msg);
    }

}

希望能有所帮助))

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/28217956

复制
相关文章
利用jQuery not()方法选取除某个元素外的所有元素
这时我们可以使用 jQuery 遍历中的 not() 方法来排除某些元素,例如根据元素的 #id ,.class 等排除,代码如下:
德顺
2019/11/12
3.3K0
jquery获取第几个子元素_js获取元素的指定子元素
通过children方法,children(“input:first-child”)
全栈程序员站长
2022/08/03
27.3K0
点击除元素以外的任意地方隐藏元素js
比如想实现点击列表弹出筛选器,点击其他任意地方关闭筛选器,如图 该筛选器class名 1 $(document).click(function () { 2 $(".subMenu"
蓓蕾心晴
2018/04/12
4.6K0
点击除元素以外的任意地方隐藏元素js
WPF 得到子指定元素方法和得到指定子元素集合方法MvvM得到焦点
public class UIHelper { /// <summary> /// 在Visual里找到想要的元素 /// childName可为空,不为空就按名字找 /// </summary> public static T FindChild<T>(DependencyObject parent, string childName) where T : DependencyObject
lpxxn
2018/01/31
1K0
jQuery中排除指定元素,同时选择剩下的所有元素
场景:某页面用了js延时加载技术处理所有图片,以改善用户体验,但是有几个图片不想延时加载,要求把它们单独挑出来。 研究了一下jQuery的API文档,搞掂了,jQuery真的很方便,贴在这里备份: <!doctype html> <html> <head> <title>菩提树下的杨过</title> <script type="text/javascript" src="http://img.24city.com/js/jquery-1.4.3.min.js"></script> <scri
菩提树下的杨过
2018/01/22
1.7K0
JQuery干货篇之选择元素
实例 $("img:odd").css("border","thick double red");选择序号为奇数的img元素 $("img:first").css("border","thick double red") 选择第一个img元素
爱撒谎的男孩
2019/12/31
1.8K0
vue组件中修改组件外元素样式
以上方式修改某些组件的样式,这样会涉及到从 html 层级选择,由于我 style 标签是这样写的
蓓蕾心晴
2023/05/31
6070
css选择器选择父元素下子元素仅有一个指定 class 的时候
对于仅指定一个 class 的场景,我们通常会想到使用 :last-child  或者 :only-child 
蓓蕾心晴
2023/05/31
1.8K0
css中伪元素选择器
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>68-伪元素选择器</title> <style> *{ margin: 0; padding: 0; } div{ width: 200px; height: 200px; ba
贵哥的编程之路
2020/10/28
1.9K0
CSS 块元素、内联元素、内联块元素
元素就是标签,布局中常用的有三种标签,块元素、内联元素、内联块元素,了解这三种元素的特性,才能熟练的进行页面布局。
Devops海洋的渔夫
2019/05/31
4K0
【CSS3】CSS3 伪元素选择器 ( 伪元素选择器语法简介 | 伪元素选择器权重计算 | 代码示例 )
属性选择器 , 伪类选择器 的 权重 , 与 类选择器 权重相同 , 都是 10 ;
韩曙亮
2023/04/24
1.2K0
【CSS3】CSS3 伪元素选择器 ( 伪元素选择器语法简介 | 伪元素选择器权重计算 | 代码示例 )
纯CSS选择器控制子元素或兄弟元素的hover效果
一般 hover 效果只用在自身元素和控制子元素,那么可以直接用 CSS 控制兄弟元素的 hover 效果吗?
德顺
2019/11/13
6.4K0
纯CSS选择器控制子元素或兄弟元素的hover效果
Selenium 元素checkbox元素操作与元素等待
检测百度页面搜索按钮是否存在,存在就输入关键词“自学网 Selenium” 然后点击搜索
清风穆云
2021/08/09
1.6K0
selenium元素定位中css或者xpath不选择某一类元素
例如,下列标签中,不选择class为disable的span标签 则 这样写 dd:not(.disabled) > span 或者 dd:not(.disabled) span
小黑同学
2020/08/16
1.9K0
selenium元素定位中css或者xpath不选择某一类元素
谷歌调试工具选取元素选择不到页面的具体元素问题
z-index的问题 document的默认值是0. 一旦出现这种问题,检查下是否对大背景设置了z-index:-1; 如果设置了这个,那么所有的被设元素的内容都会在document之下,选取不到。包括不会出现链接点击、文字选取、hover等效果。 所以解决这个问题的方法就是把大背景的z-index:-1;去掉即可。
smy
2018/04/03
9920
vue获取当前点击元素的父元素、子元素、上级元素等
<div @click = "clickfun($event)">点击</div> methods: { clickfun(e) { // e.target 是你当前点击的元素 // e.currentTarget 是你绑定事件的元素 #获得点击元素的前一个元素 e.currentTarget.previousElementSibling.innerHTML #获得点击元素的第一个子元素 e.curre
用户1349575
2022/01/26
11.4K0
<noscript>元素[通俗易懂]
早期浏览器都面临一个特殊的问题,即当浏览器不支持 JavaScript 时如何让页面平稳地退化。对这
全栈程序员站长
2022/11/17
5570
使用CSS选择器进行元素定位
在selenium webdriver中,支持使用CSS选择器来进行元素定位,事实在真的投入工作,大量编辑用例和元素定位的时候,使用css 和 xpath才是经常需要用到的。 之前有专门讲过使用xpath对元素定位的使用,下面要介绍css选择器来进行元素定位。 【参见W3C官网说明】 http://www.w3school.com.cn/cssref/css_selectors.asp 先看看css选择器定位的webdriver函数: def find_elements_by_css_selector(
苦叶子
2018/04/17
3.2K0
HTML5 元素选择流程图
?
疯狂的技术宅
2019/03/28
2.4K0
HTML5 元素选择流程图
前端基础-CSS相邻元素选择器
相邻元素选择器 哥哥+弟弟{} /*通过哥哥选择到弟弟 */ 例: <style> div+p{/* 兄弟选择器,哥哥标签+弟弟标签,,,,修饰的是弟弟 */ color:red; } <
cwl_java
2020/04/07
1.5K0
前端基础-CSS相邻元素选择器

相似问题

如何选择除特定元素外的所有元素的子元素?

40

选择除禁用元素外的所有复选框元素

81

jQuery选择除一个元素外的所有元素

20

隐藏除特定子元素内容之外的所有元素

20

如何读取除特定子元素以外的元素?

31
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档