首页
学习
活动
专区
圈层
工具
发布
首页标签数据同步

#数据同步

主备切换的完整流程:切前五道门槛、切中四步顺序、切后六个验收动作

数据工匠老o

十五年数据库相关经验,做过 DBA、架构师、技术顾问。不求"颠覆",只求"靠谱"。

3900

增量同步和全量同步到底怎么选?一个 2.4TB 迁移项目的前后两段

DBA小马哥

手上有个活儿前后干了快两个月:一个 2.4TB 的订单库从 Oracle 迁到国产数据库,业务不能停,只给了一个周末的割接窗口。

2200

物理日志直读+KUFL统一格式:数据同步的DDL与断点续传工程解

这个DBA有点耶

但真正做过信创迁移、双轨并行或者异构数据库实时同步的团队都知道:全量搬完只是开始,增量阶段才是深渊。

6110

Jync 捷同 · 极简、极速的开源数据库同步工具

沐工坊

数据库同步这件事,最容易出现两种极端:一种是上商业同步平台,按节点授权、采购周期长;另一种是临时写脚本,上线后靠人盯着,断了不知道,重跑了怕重复。Jync 捷同...

7610

数据同步软件横评:DataX、Canal、Flink CDC与KFS的架构、性能与DDL同步实测对比

这个DBA有点耶

做数据同步,最怕的是什么?不是全量迁移跑得慢,也不是带宽不够用。最怕的是,数据在谁都没发现的时候,悄悄地错了。

15410

① 数据中台实操:一站式全链路数据处理落地指南

奥零数据科技

摘要:中小企业建设数据中台,经常会遇到多数据源分散、工具繁多切换成本高、治理与开发割裂、可视化门槛高等现实问题。本文结合开源数据中台实践,讲解数据中台基础的核心...

15100

数据同步延迟怎么排查?AI应用答旧数据的3个根因

路远的数据库笔记

上个月,一个做客服系统的团队找我。他们的知识库接了AI问答,数据靠一条同步链路送过去。用户问退款时效,回答的还是老政策。截图甩到群里,客服主管第一句话是:模型是...

9000

数据同步全绿、报表却对不上?qData 数据中台用 4 步把质量稽查变成日常

星浪的数治笔记

数据同步任务显示成功,报表数字却和业务系统对不上。订单记录重复、关键字段缺失、日期格式不统一、金额超出合理范围——这些异常不会让同步任务失败,数据照样写入目标库...

11120

MySQL 到金仓实时同步实践:binlog 检查、任务配置和增删改验证

用户1433896

把 MySQL 存量复制到金仓之后,业务仍会修改和删除数据。若只按自增 ID 继续查询,新记录能够进入目标,旧记录的修改与物理删除却可能被遗漏。

14310

数据库增量轮询为什么会漏更新?用 MySQL 到 Kingbase 拆解字段与位置

用户1433896

轮询间隔是一分钟,仍然可能看不到刚修改的记录。原因可能是增量列没有变化:例如按自增 ID 读取时,旧行改了状态,ID 依然不变。频率决定何时查,字段和位置决定查...

10410

切换成功不等于业务恢复:从同步状态、仲裁日志到旧主连接清理的完整排查链路

这个DBA有点耶

有一次凌晨切换演练,监控大盘上所有指标都变绿了:主库失联、备库接管、切换耗时12秒。值班的同事在群里发了一句“切换成功”。

12810

DDL同步断链排查:260条异构链路的4步结构转换

数据库小学妹

我以前觉得,数据同步最难的是量大。后来才知道,真正让人半夜爬起来的是改表。源端加一个字段,目标端可能就写不进去了。一条链路还好。260条链路一起跑,问题会被放大...

11210

凌晨一个数据同步任务,把白天的订单创建全卡住了——自增锁的连锁反应

这个DBA有点耶

第一反应是锁等待。查sys.innodb_lock_waits,没有行锁冲突。查慢查询日志,发现慢的都是INSERT语句。查磁盘I/O,正常。查网络,正常。

15110

数据库同步DDL转换:正则替换为什么不够用

数据工匠老o

十五年数据库相关经验,做过 DBA、架构师、技术顾问。不求"颠覆",只求"靠谱"。

15410

双轨并行架构设计:全量迁移的并行策略、增量同步的延迟基准与双向Master实现

这个DBA有点耶

中国信通院《数据库发展白皮书》指出,核心系统的数据库迁移面临三大结构性难题:停机窗口长、数据一致性难保证、故障后缺乏回退手段。传统模式是“停机 → 全量迁移 →...

17810

数据迁移不停机方案:存量增量接力与双轨割接设计

数据库小学妹

做数据迁移,我最怕在评审会上听到这一句:这套系统 7×24 跑,一秒都不能停,你们方案里那个"停机窗口",我这里批不出来。

24320
领券