首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

跑批为什么这么难?

但是,跑批必须在规定的窗口时间内完成。比如某银行的跑批窗口时间是晚上 8:00 到第二天早上 7:00,如果到了早上 7:00 跑批任务还没有完成,就会造成业务人员无法正常工作的严重后果。...跑批任务涉及的数据量非常大,很可能用到所有的历史数据,而且计算逻辑复杂、步骤众多,所以跑批时间经常是以小时计的,一个任务两三小时是家常便饭,跑到十个小时也不足为奇。随着业务的发展,数据量还在不断增加。...跑批数据库的负担快速增长,就会发生整晚都跑不完的情况,严重影响用户的业务,这是无法接受的。问题分析要解决跑批时间过长的问题,必须仔细分析现有的系统架构中的问题。...原来也采用关系数据库完成跑批,存储过程计算 10 天的新增保单关联历史保单,运行时间 47 分钟;30 天则需要 112 分钟,接近 2 小时;如果日期跨度更大,运行时间就会长的无法忍受,基本就变成不可能完成的任务了...跑批任务采用关系数据库的 SQL 语句实现,运行总时间 7.8 小时,占用了过多的跑批时间,甚至影响了其他的跑批任务,必须优化。

11010
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    征集:那些慢得让你崩溃的查询跑批

    特征:SQL编写,无问单机/集群、无问商用/开源、无问大牌/新秀 现在为啥跑不快? 硬件不变,提速关键在于设计出计算量更少的算法。 然后再用程序语言写出来。...但也不能用Java,虽然写得出,但会累死人。 用SPL!简单代码实现高性能计算 SPL是啥?为啥管用?...再看看这些案例,自己算算提速多少倍 开源 SPL 优化银行预计算固定查询成实时灵活查询 开源 SPL 将银行手机账户查询的预先关联变成实时关联 开源 SPL 优化保险公司跑批优从 2 小时到 17 分钟...业务场景问题描述,包括 简单的业务背景 查询或跑批请求的发起条件 执行频率 主要痛点,等等 选择关键的特性指标,准确描述业务场景的价值,包括: 数据量(<1亿,1亿-10亿,10亿-100亿,100亿以上...) 并发量 目前关键响应时间(_____秒/分钟/小时)、期望响应时间(_____秒/分钟/小时) 更详细、具体的业务细节,包括: SQL或存储过程脚本范例 运行时间或执行计划 数据库结构、例如设计的表结构和数据量

    55430

    java calendar 设置小时_Java Calendar类的时间操作

    Java Calendar 类时间操作,这也许是创建日历和管理最简单的一个方案,示范代码很简单,演示了获取时间,日期时间的累加和累减,以及比较。...Calendar 演示代码如下: package demo; import java.util.Date; import java.text.SimpleDateFormat; import java.text.DateFormat...System.out.println(str); // 创建 Calendar 对象 Calendar calendar = Calendar.getInstance(); try { // 对 calendar 设置时间的方法...// 设置传入的时间格式 SimpleDateFormat dateFormat = new SimpleDateFormat(“yyyy-M-d H:m:s”); // 指定一个日期 Date date...= dateFormat.parse(“2013-6-1 13:24:16”); // 对 calendar 设置为 date 所定的日期 calendar.setTime(date); // 按特定格式显示刚设置的时间

    1.6K20

    OB 运维 | 跑批 SQL 大量超时?集群管理避坑案例

    1问题背景 凌晨 04:25 左右,OceanBase 集群业务应用端报错: java.sql.SQLException: Timeout OCP 告警: 04:26 存在大量 easy_connection_on_timeout_conn...Y0-0000000000000000] [lt=14] [dc=0] Failed to do check_ack_timeout, and will destroy connection 原计划该时间段是跑批...2应急方案 由于跑批任务优先级较高,决定暂停合并操作。 05:50 左右,在黑屏中暂停合并操作,跑批任务恢复正常。...4优化建议 调整每日合并时间,尽量避免合并期间跑批。 合并时磁盘 IO 压力较大,跑批任务也会消耗系统资源,磁盘性能瓶颈导致 SQL 变慢。 建议:合并与跑批任务分开进行。...降低跑批并发度,并行任务改为串行。 降低跑批对系统资源的压力,避免出现队列积压问题,进而导致跑批超时。 业务拆分。 目前集群体量较大,跑批,合并,备份等时间冲突,建议进行业务拆分。

    5700

    HDFS CheckPoint时间设置

    HDFS Checkpoint时间设置方法HDFS Checkpoint时间可以通过以下两个参数进行配置:dfs.namenode.checkpoint.period:表示Checkpoint的周期时间...如果我们希望减少Checkpoint的频率,可以将dfs.namenode.checkpoint.period参数的值设置为较大的值,例如4小时。...此时,我们可以通过以下步骤来调整Checkpoint的时间设置:进入Secondary NameNode节点,并编辑hdfs-site.xml文件,增加以下配置: dfs.namenode.checkpoint.period...1800秒(即30分钟),将dfs.namenode.checkpoint.txns的值设置为500000个事务。...此外,在实际生产环境中,我们还需要根据具体的需求和情况进行调整和优化Checkpoint的时间设置,以保证HDFS的可用性和数据一致性。

    1.1K40

    redis设置过期时间

    redis是在内存中进行缓存的,我们在设置redis缓存时,可以设置下过期时间。那么在设置时间到期后redis是如何进行数据删除的。 redis清理过期数据。...定期清理 + 惰性清理 定期删除:redis数据库默认每隔100ms就会进行随机抽取一些设置过期时间的key进行检测,过期则删除。...4)volatile-lru:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,移除最近最少使用的key(这个一般不太合适) 5)volatile-random:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中...,随机移除某个key 6)volatile-ttl:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,有更早过期时间的key优先移除 LRU算法实现 public class LRUCache<...LRUCache(int cacheSize) { super((int) Math.ceil(cacheSize / 0.75) + 1, 0.75f, true); // 这块就是设置一个

    2.8K30

    Redis 设置过期时间

    Redis 中有个设置时间过期的功能,即对存储在 redis 数据库中的值可以设置一个过期时间。 作为一个缓存数据库,这是非常实用的。...我们 set key 的时候,都可以给一个 expire time,也就是过期时间,这样就指定了这个 key 可以存活的时间。...假设我们设置了一批只能存活1个小时的 key,那么1小时后,redis 是怎么对这批 key 进行删除的?...答案是:定期删除 + 惰性删除 定期删除:redis 默认每隔 100ms 就 随机抽取 那些设置了过期时间的 key,检查其是否过期,如果过期,就删除。注意,这里是随机抽取的。为什么要随机呢?...想想,假如 redis 存了几十万个 key ,每隔 100ms 就遍历所有设置了过期时间的 key 的话,会给 CPU 带来很大的压力 惰性删除 :定期删除可能会导致很多过期的 key 到了时间并没有被删除掉

    4K20

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券