分布式定时任务原理

用户4283147

发布于 2022-10-27 15:00:39

5220

发布于 2022-10-27 15:00:39

文章被收录于专栏：对线JAVA面试

‍

一、单机指定时间执行定时任务实现方式

1.Timer运行机制

2.ScheduledThreadPoolExecutor的运行机制

1.原理图

2.Leader/Follower模式

3.Timer和ScheduledThreadPoolExucutor区别

Timer是基于绝对时间，ScheduledThreadPoolExucutor基于相对时间
Timer是单线程，ScheduledThreadPoolExucutor是多线程
Timer运行发生异常，整个TimerThread崩溃，而ScheduledThreadPoolExucutor对异常进行捕获

4.自行实现指定时间执行的定时任务

建立数据库定时任务表，用户存入要执行的定时任务，业务ID
定义Producer类，用于生产指定定时任务，往延迟队列里写入数据，指定的毫秒时间戳
定义Consumer接口，自身业务可以通过实现Consumer接口消费队列中的数据
定义SpringBoot自启动方法，死循环从延迟队列中取最小时间戳数据，与当前时间进行对比如果小于则开始执行，休眠100ms继续下一次循环

5.Quartz实现

参考文档：https://www.w3cschool.cn/quartz_doc/quartz_doc-2put2clm.html

二、分布式指定时间执行的定时任务实现方式（自行Redis实现）

1.流程设计分析

因为是应用是分布式部署，所以需要考虑分布式锁处理分布式一致性
使用Redis的有序集合（Sorted Set）将要执行任务的ID和毫秒时间戳ZAdd到有序集合中
使用SpringBoot的定时任务，定时1秒去执行消费定任务任务方法
消费方法加分布式锁，避免重复消息，通过死循环获取有序集合最小的时间戳与当前时间戳做对比，如果小于则执行，如果大于等线程等待100ms后继续下一次循环。

/**
 * 获得分布式锁
 *
 * @param redisClientId Redis客户端ID
 * @return bool
 */
public boolean redisDistributedLock(String key, String redisClientId, long timeout, TimeUnit unit) {
    ValueOperations<String, String> ops = redisTemplate.opsForValue();
    if (ops.setIfAbsent(key, redisClientId, timeout, unit)) {
        return true;
    }
    String cacheClientId = ops.get(key);
    if (cacheClientId.equals(redisClientId)) {
        redisExpire(key, timeout, unit);
        return true;
    }
    return false;
}

/**
 * 执行定时任务
 */
public void runBenchGameDelayTask(BenchDelayTaskType type) {
    while (true) {
        Set<ZSetOperations.TypedTuple<String>> typedTuples = benchGameCacheService.benchGameTaskZRange(type);
        if (typedTuples.size() > 0) {
            benchGameTaskProcess(type, typedTuples);
        }
        try {
            Thread.sleep(100);
        } catch (InterruptedException e) {
            e.printStackTrace();
            log.error("[runBenchGameDelayTask] type={}, error={}", type.getData(), e);
        }
    }
}

三、分布式指定时间执行的定时任务实现方式（三方框架）

1.Quartz集群解决方案

在quartz的集群解决方案里有张表scheduler_locks，quartz采用了悲观锁的方式对triggers表进行行加锁，以保证任务同步的正确性。一旦某一个节点上面的线程获取了该锁，那么这个Job就会在这台机器上被执行，同时这个锁就会被这台机器占用。同时另外一台机器也会想要触发这个任务，但是锁已经被占用了，就只能等待，直到这个锁被释放

quartz的分布式调度策略是以数据库为边界资源的一种异步策略。各个调度器都遵守一个基于数据库锁的操作规则从而保证了操作的唯一性

原理图

缺点：quartz的分布式只是解决了高可用的问题，并没有解决任务分片的问题，还是会有单机处理的极限

2.TBSchedule

TBSchedule是一款非常优秀的高性能分布式调度框架，广泛应用于阿里巴巴、淘宝、支付宝、京东、聚美、汽车之家、国美等很多互联网企业的流程调度系统。tbschedule在时间调度方面虽然没有quartz强大，但是它支持分片功能。和quartz不同的是，tbschedule使用ZooKeeper来实现任务调度的高可用和分片

原理图