blocks|key|e93em|type|unstyled|text|数据迁移到目标库时，可以选择整个实例迁移，也可以选择指定对象迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

使用 DTS 进行数据迁移，目标库是否需要为空？

entityMap|0|type|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/59387|1|https://cloud.tencent.com/document/product/571/59386|2|https://cloud.tencent.com/document/product/571/59388|blocks|key|2fpkh|text|数据传输服务的产品功能有哪些？|header-one|depth|inlineStyleRanges|entityRanges|af10j|数据迁移+|header-two|offset|length|style|BOLD|aaqk1|数据迁移功能指不同数据源之间的数据复制，腾讯云+DTS+支持数据库不停机迁移，最小化迁移过程引起的数据库宕机对业务造成的影响。数据迁移功能适用于数据上云迁移、腾讯云内部跨实例数据迁移、第三方厂商迁移至腾讯云等业务场景。|unstyled|bk6i8|数据同步+|fg9ic|数据同步功能指两个数据源之间的数据实时同步，可应用于云上云下多活、异地多活、跨境数据同步，及实时数据仓库等业务场景。|70b6b|数据同步不同于数据迁移，数据迁移是以整体数据库搬迁为目的，它属于一次性的短期任务，而数据同步属于持续性任务，任务创建后会一直同步数据，保持源库和目标库的数据一致性。|5cvke|数据订阅+|7510e|数据订阅是指获取数据库中关键业务的数据变化信息，将这些信息包装为消息对象推送到+Kafka+中，方便下游业务订阅、获取和消费。腾讯云+DTS+支持通过+Kafka+Client+直接消费数据，方便用户搭建云数据库和异构系统之间的数据同步，如缓存更新，ETL（数据仓库技术）实时同步，业务异步解耦等。|52vqt|数据传输服务+DTS+支持关系型数据库+RDBMS、非关系型数据库+NoSQL+数据源间的数据传输。它提供了数据迁移、实时数据订阅以及实时数据同步等多种数据传输方式。相对于第三方数据流工具，数据传输服务+DTS+提供更丰富多样、高性能、高安全可靠的传输链路，同时提供了诸多便利功能，极大地方便了传输链路的创建及管理。|fuvi8|数据传输服务的产品优势是什么？|empak|数据同步|fj1nu|数据传输服务帮助您将数据库迁移至+TencentDB，且几乎不需要停机拷贝。源数据库在迁移期间发生的所有数据更改都会复制到目标数据库，因此迁移期间不影响源数据库对外提供服务。在数据复制完成后，源数据库和目标数据库将保持继续同步，您可自由选择业务切换时间。|1l00o|高传输性能|acbm4|数据传输服务使用高规格服务器来保证每条迁移同步链路都能拥有良好的传输性能。在数据迁移方面，数据传输服务底层采取了多种性能优化措施；相对于传统的数据迁移工具，极大提升了传输性能。|esr10|故障自动恢复|f201o|数据传输服务具有极高的可用性，每个节点均具备高度的恢复和自愈能力，故障秒级恢复。DTS+的高可靠性让您可以放心将数据迁移上云，无需担心迁移数据的一致性问题。|1ee33|可视化操作|3bn8k|数据传输服务无需单独安装驱动程序或应用程序，无需对源数据库做大幅改动，只需在腾讯云提供的可视化管理界面进行简单配置即可开启数据传输。|au89h|设置简单快速|6t9sm|在腾讯云数据传输服务管理控制台中，只需花费几分钟就能设置一个迁移任务。您可以在迁移任务中定义用来执行迁移的各项参数，其中包括设置源数据库和目标数据库的连接，以及迁移类型和对象。|d5n48^0|0|0|4|0|4|0|0|0|0|4|0|4|1|0|0|0|0|4|0|4|2|0|0|0|0|0|0|0|0|0|0|0|0|0|0^^$0|$1|$2|3|4|5|6|$7|8]]|9|$2|3|4|5|6|$7|A]]|B|$2|3|4|5|6|$7|C]]]|D|@$E|F|G|H|2|I|J|1V|K|@]|L|@]|6|$]]|$E|M|G|N|2|O|J|1W|K|@$P|1X|Q|1Y|R|S]]|L|@$P|1Z|Q|20|E|21]]|6|$]]|$E|T|G|U|2|V|J|22|K|@]|L|@]|6|$]]|$E|W|G|X|2|O|J|23|K|@$P|24|Q|25|R|S]]|L|@$P|26|Q|27|E|28]]|6|$]]|$E|Y|G|Z|2|V|J|29|K|@]|L|@]|6|$]]|$E|10|G|11|2|V|J|2A|K|@]|L|@]|6|$]]|$E|12|G|13|2|O|J|2B|K|@$P|2C|Q|2D|R|S]]|L|@$P|2E|Q|2F|E|2G]]|6|$]]|$E|14|G|15|2|V|J|2H|K|@]|L|@]|6|$]]|$E|16|G|17|2|V|J|2I|K|@]|L|@]|6|$]]|$E|18|G|19|2|I|J|2J|K|@]|L|@]|6|$]]|$E|1A|G|1B|2|O|J|2K|K|@]|L|@]|6|$]]|$E|1C|G|1D|2|V|J|2L|K|@]|L|@]|6|$]]|$E|1E|G|1F|2|O|J|2M|K|@]|L|@]|6|$]]|$E|1G|G|1H|2|V|J|2N|K|@]|L|@]|6|$]]|$E|1I|G|1J|2|O|J|2O|K|@]|L|@]|6|$]]|$E|1K|G|1L|2|V|J|2P|K|@]|L|@]|6|$]]|$E|1M|G|1N|2|O|J|2Q|K|@]|L|@]|6|$]]|$E|1O|G|1P|2|V|J|2R|K|@]|L|@]|6|$]]|$E|1Q|G|1R|2|O|J|2S|K|@]|L|@]|6|$]]|$E|1S|G|1T|2|V|J|2T|K|@]|L|@]|6|$]]|$E|1U|G|-4|2|V|J|2U|K|@]|L|@]|6|$]]]]

数据订阅正则表达式

[Kafka 使用何种认证机制？](id:faq3)

服务端消息保留多久，如何设置消费 offset？

数据订阅 Kafka 版

数据同步对目标库有啥影响，是否要求目标库为空？

支持将高版本实例的数据同步到低版本的实例吗？

在双向同步拓扑中，是否可以对 DDL 进行双向同步？

同步任务启动后，是否支持增加或删除库表对象？

数据同步

数据迁移、同步、订阅如何收费的？

购买包年包月实例时，需要主账号支付，子账号不能购买？

购买及付费

数据迁移过程中源库是否支持写入？

数据迁移过程中目标库是否支持写入？

DTS 是否支持两端都是线下库的迁移？

DTS 是否支持两个不同腾讯云账号下的 TencentDB 实例之间的数据迁移？

DTS 是否支持同一个数据库实例内不同库表的迁移？

同一个源端数据库是否支持配置多个 DTS 任务，往不同的云数据库实例上迁移？

迁移过程中可以监控任务的进度吗？

为什么数据增量迁移服务会有15天设置?

在迁移数据过程中，如何保障数据准确性？

数据校验为什么需要源数据库实例不为只读？

DTS 数据迁移能指定库表进行迁移么？

为什么全量迁移前后数据的大小不一致？

DTS 数据传输服务，是否支持跨国数据库迁移？

DTS 迁移过程中任务异常中断，是否可以重新启动？

对源库设置 binlog_format 为 row 之后，如何确保源库 binlog_format 格式立刻生效？

如果迁移的源实例里面有 Toku 引擎，迁移会有什么需要注意的？

MySQL 数据迁移可以迁移用户权限吗？

数据迁移

常见问题（NewDTS）

使用 DTS 进行数据迁移，源数据库的数据会不会在迁移后被删除掉？

为何开启了订阅的目标实例进行迁移会有内容缺少？

为何迁移时候选了全量检测会报缺少 super 权限的错误？

TokuDB 表在 DTS 迁移校验时校验出错可能是什么原因？

数据订阅支持多个 SDK 同时连接消费同一个通道吗？

数据订阅支持一个 SDK 同时连接多个通道吗？

SDK 启动报错，错误为：already has sdk on this channel，是什么原因？

数据订阅订阅实时增量数据时，新增的数据是指新增数据，还是包含修改的数据？

TencentDB 实例和本地数据库的表结构相同，但是索引不同，可以使用数据订阅功能进行实时同步吗？

数据订阅通道无法修改消费位点，原因是什么？

如何确认数据是否正常消费呢？

数据订阅如果消费端有一条记录没有 ACK，SDK 重启后为什么会收到重复数据呢？

如果 SDK 退出后，过几天重启运行，不能成功订阅数据？错误为：Maybe checkpint is too old？

SDK 正常拉数据过程中，突然卡住不能订阅到数据，但重启之后又可以消费到一部分，之后又卡住，是什么原因呢？

如何保证 SDK 订阅到的数据是一个完整的事务，根据提供的消费位点会拉取到事务中间的 record 吗？

数据订阅在 TencentDB 主备切换/主库重启时是否会发生问题？是否可能出现丢数据的情况？

SDK 启动时，报错：Do DTS authentication fail, caused by: get channel info from msg failed. 是什么原因？

SDK 启动时，报 secretId 没有权限？

数据订阅可能会收到重复数据吗？

一个数据订阅实例，可以订阅多个 TencentDB 实例吗？

如果 SDK 在运行的过程中发生 OOM 怎么办？

数据订阅

常见问题（旧版）

blocks|key|1s88|type|unstyled|text|支持，迁移过程中源库可以正常进行数据写入，但在结构迁移、全量迁移阶段不能对源库进行+DDL+操作，否则可能会导致任务失败。等到增量迁移阶段，DDL+和+DML+都可以正常操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8ld64|type|unstyled|text|目标库不需要设置为只读，但是建议不要对目标库进行写入，如果在迁移过程中，用户同时向目标库写入，可能会导致最终源和目标的数据不一致。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|d0vlp|type|unstyled|text|不支持，源端或者目标端必须有一个是腾讯云数据库。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cnsuf|type|unstyled|text|支持，进行跨腾讯云账号下+TencentDB+实例间的迁移，需要以目标+TencentDB+实例所属的腾讯云账号登录+DTS。具体操作请参见+云数据库跨账号实例间迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/54117^0|0|1Z|C^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cq4pp|type|unstyled|text|不支持，DTS+仅支持源库和目标库为不同的数据库实例之间的数据迁移，不支持源库和目标库为同一个数据库实例（同一个数据库实例内不同库表对象的迁移）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8sujg|type|unstyled|text|支持，支持同一个源端迁移到多个目标端（任务可并行处理），也支持多个源端迁移到同一个目标端（需要等前一个任务进行到增量阶段才可发起新一个任务）。需要注意多个任务并行，可能会增加源端或者目标端的访问压力，影响迁移速率。如果您确定需要对同一个源端数据库创建多个任务，可以在创建第一个迁移任务后，通过操作列更多+>+创建类似任务，快捷创建相同的任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3biup|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

DTS 是否支持定时自动迁移？

blocks|key|bv7tm|type|unstyled|text|可以，您可以在腾讯云+DTS+控制台+数据迁移页面查看迁移任务进度。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dtsnew/migrate/page^0|0|B|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2hptb|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6a0d7|type|unstyled|text|DTS+内部采用腾讯云自研数据迁移架构，对传输链路进行实时的数据准确性校验，快速发现并纠正传输数据，保障传输数据可靠性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ernp6|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

blocks|key|63mht|type|unstyled|text|可以，迁移对象可以选择整个实例，也可以选择指定库表对象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|hclp|type|unstyled|text|用户选择增量迁移时，任务长时间没有结束，有可能需要用户自己进行结束操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据迁移什么时候结束？

blocks|key|6fs70|type|unstyled|text|因为源库和目标库的碎片空间不一样，源库可能存在一些空洞数据，因此全量迁移完成后目标库的表存储空间很可能会比源库的表存储空间小。建议用户迁移完成后使用+数据一致性校验+来核对源库和目标库内容是否一致。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/62564^0|0|23|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|9tbtd|type|unstyled|text|支持，接入方式选择公网可以实现跨国数据传输。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|dhdka|type|unstyled|text|可以，用户在配置任务时，可以设置自动重试策略，在任务发生异常中断（如源库或者目标库短暂不可用，网络问题等），DTS+支持在设置的时间范围内进行自动重试，无需手动干预。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cddgb|type|unstyled|text|MySQL+迁移过程中的加锁，指的是对源数据库加全局锁（FTWRL），选择全量数据迁移的场景中，才会涉及到加锁处理。|depth|inlineStyleRanges|entityRanges|ao9f7|当前+DTS+在+MySQL/MariaDB//Percona/TDSQL-C+MySQL/TDSQL+MySQL/TDSQL+TDStore+之间的数据迁移中，默认使用无锁迁移。无锁迁移指对源库不加全局锁（FTWRL），仅对无主键的表加表锁。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

MySQL 迁移过程中是否会加锁？

blocks|key|2eoo2|type|unstyled|text|支持，但是建议用户选择有主键校验的表，无主键的表也可以发起任务，但是会造成以下影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持迁移无主键的表？

blocks|key|fn8ov|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|apkh8|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|5h53s|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|4saed|type|unstyled|text|支持，新版本+DTS+支持对用户的权限进行迁移，具体操作请参考+账号迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/65702^0|0|W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cds29|type|unstyled|text|收费链路和具体收费标准请参见+计费概述。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/18736^0|0|F|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2fmnr|type|unstyled|text|退费仅对以包年包月形式购买的实例，以按量计费形式购买的实例，因为本身是后付费形式，无法申请退款。对包年包月实例进行退费时，每个主体默认享有1次5天内无理由全额退款，其余退款申请按照非全额退款处理。具体请参见+退费说明。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/40536^0|0|2W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

支持退费吗？

blocks|key|orsd|type|unstyled|text|子用户一般没有支付+DTS+包年包月实例的权限，在提交订单时出现如下提示，需要主账号来支付订单。n|depth|inlineStyleRanges|entityRanges|cn5bh|请参考+授权子用户财务权限，授权子用户支付包年包月实例的权限。|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/74020^0|0|0|4|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]]|$1|A|3|4|5|B|7|N|8|@]|9|@$1|O|C|P|D|Q]]]]|E|$F|$3|G|H|I|J|$K|L]]]]

blocks|key|89bgp|type|unstyled|text|使用+DTS+进行数据同步对目标库没有影响，不需要目标库为空。DTS+支持检测源库和目标库是否有同名对象，并支持在发生同名对象冲突时按照设置的策略进行处理，将任务报错提醒用户，或者忽略报错继续任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5jsc9|type|unstyled|text|不支持。同一个类型的数据库，目标实例的大版本必须不小于源实例。以+MySQL+实例为例，不支持+MySQL+5.7+的实例同步到+MySQL+5.6。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|b0bsq|type|unstyled|text|可以。可以将云上的数据库同步到云下，接入方式支持公网、云联网等。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

源/目标能否为云下实例？

blocks|key|85njv|type|unstyled|text|不可以。创建同步实例时，只能允许其中一个实例进行+DDL+同步，否则检测算法检测到+DDL+循环，会禁止其中一个实例的创建。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1e3aa|type|unstyled|text|当前技术方案采用在事务中打上路由信息来标记事务的来源，依赖于事务的原子性。基于非事务引擎的库表，会破坏了事务的原子性，无法保证数据一致，不建议用户使用。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持非事务引擎？

blocks|key|5bs3b|type|unstyled|text|支持。选择需要修改的同步任务，通过操作+>+修改同步配置，可以修改同步任务配置。|depth|inlineStyleRanges|entityRanges|9vdq7|可支持增加/删除同步对象、修改主键冲突策略、SQL+同步策略等。修改同步配置时，已有的同步任务不会暂停，也不会受影响。更多详情请参考+。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|1fk6v|type|unordered-list-item|text|排查网络问题，Kafka+服务器地址为腾讯云内网地址，只能在腾讯云与订阅实例相同地域的私有网络内访问。|depth|inlineStyleRanges|entityRanges|5igq1|排查订阅+topic、内网地址、消费组名称、帐号、密码等是否正确。可在+数据订阅控制台+单击订阅名进入订阅详情页和消费管理页查看。|offset|length|66uf4|排查加密参数是否正确，参见+Kafka+使用何种认证机制。|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dts/dss|1|https://cloud.tencent.com/document/product/571/53454#faq3^0|0|0|10|7|0|1|E|E^^$0|@$1|2|3|4|5|6|7|Q|8|@]|9|@]]|$1|A|3|4|5|B|7|R|8|@]|9|@$1|S|C|T|D|U]]]|$1|E|3|4|5|F|7|V|8|@]|9|@$1|W|C|X|D|Y]]]]|G|$H|$3|I|J|K|L|$M|N]]|O|$3|I|J|K|L|$M|P]]]]

为什么我消费不到数据？

blocks|key|bmucr|type|unstyled|text|数据订阅+Kafka+版使用+Protobuf+进行序列化。Protobuf+协议文件可在+此处+下载，Demo+工程中也包含了协议文件，具体请参考+生产和消费逻辑讲解。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://subscribesdk-1254408587.cos.ap-beijing.myqcloud.com/subscribe.proto|1|https://cloud.tencent.com/document/product/571/52381#dgxljjj^0|0|1A|2|1|23|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@$1|N|A|O|B|P]|$1|Q|A|R|B|S]]]]|C|$D|$3|E|F|G|H|$I|J]]|K|$3|E|F|G|H|$I|L]]]]

数据格式是怎么样的?

blocks|key|468g3|type|unstyled|text|如下所示：|depth|inlineStyleRanges|entityRanges|5cp6l|atomic|[83aa8f6122ee106f57568b6f25a1bd08.png]|offset|length|entityMap|0|IMAGE|mutability|IMMUTABLE|data|imageUrl|https://main.qcloudimg.com/raw/83aa8f6122ee106f57568b6f25a1bd08.png|name^0|0|0|0|12^^$0|@$1|2|3|4|5|6|7|O|8|@]|9|@]]|$1|A|3|B|5|C|7|P|8|@]|9|@$1|Q|D|R|E|S]]]]|F|$G|$3|H|I|J|K|$L|M|N|-3]]]]

blocks|key|3qpqg|type|unstyled|text|首先请将+Kafka+的+enable_auto_commit+参数设置为+false，以关闭自动+commit。生产者会在消息序列中的合适位置插入+Checkpoint+消息，消费者消费到+Checkpoint+消息后进行+commit，这样有利于保证消息的完整性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

何时进行 Kafka commit?

blocks|key|98g27|type|unstyled|text|服务端消息保留1天。可以根据需要配置+Kafka+的+auto_offset_reset+参数为+earliest+或者+latest。如果需要从具体的+offset+开始消费，则可以利用+Kafka+Client+提供的+seek+功能，重新设置消费+offset。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|f3h17|type|unstyled|text|不支持，同一个通道最多只能有一个+SDK+连接并消费数据，如果用户有多个下游需要订阅同一个库表，可以通过建立多个通道来解决。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|be2v7|type|unstyled|text|支持，一个+SDK+可以同时消费多个通道。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8b8k1|type|unstyled|text|一个通道只能有一个+SDK+连接消费，如果新增连接，就会报这个错误。这时需确认程序是否完全退出，若确认完之后重连还是报同样的错误，可以将重启时间的间隔稍微加长一点，例如：20秒。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ff9li|type|unstyled|text|数据订阅可以订阅的增量数据包括：所有的增删改（+DML+）以及结构变更（+DDL+）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1se3a|type|unstyled|text|可以，如果数据订阅只订阅数据变更，那么两边索引不同不会影响。如果订阅了结构变更，而且+TencentDB+实例上涉及到索引变更的话，可能会由于两边索引不同，导致结构变更在本地消费失败。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|e4348|type|unstyled|text|修改位点报错时，界面上有相应的提示。一般是由于订阅通道还有下游在消费，可以先到+DTS+控制台查看消费来源+IP，查看是否还有下游+SDK+在消费数据，如果有，那么需要先停止下游消费后，重新修改消费位点。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1qd81|type|unstyled|text|在有数据写入的情况（+或者还有数据没有消费完+），如果数据正常消费，那么控制台上的消费位点就会正常迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|636bj|type|unstyled|text|当+SDK+有+message+没有+ACK+时，SDK+会持续拉取消息直到+SDK+内的缓存塞满，SDK+不再获取新消息。此时，服务端保存的消费位点为未+ACK+之前的最后一条+message+的位点。|depth|inlineStyleRanges|entityRanges|7hvam|当+SDK+重启时，为了保证消息不丢，服务端会从未+ACK+前一条+message+对应的位点开始重新推送数据，所以+SDK+此时会重复收取一部分消息。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|7kgbq|type|unstyled|text|数据订阅通道中保留数据的时间范围为1天，从当前时间-1天，当天时间，订阅通道会删除过期数据。所以如果上次+SDK+退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道有效数据范围内，那么就不能订阅到这个消费位点对应的数据。为修复这个问题，在启动+SDK+之前，需要先修改消费位点，确保消费位点在有效数据范围内。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5efv8|type|unstyled|text|这种情况，比较大可能是+SDK+代码中没有调用+ackAsConsumed+接口汇报消费位点导致的。由于+SDK+内部设置了有限缓存空间，如果不调用+ackAsConsumed+汇报位点，那么这缓存空间数据就不会删除，当缓存满时，就不能拉取新的数据，就会出现+SDK+卡住不能订阅数据现象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|2jeu|type|unstyled|text|不会，根据用户指定的消费位点或者上次确认消费的位点，服务端会搜索这个消费位点对应的完整事务的起始位置，从整个事务头部的开始，向下游+SDK+传输数据，所以可以保证接收到完整的事务内容。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|co62b|type|unstyled|text|不会有问题，TencentDB+实例发生主备切换/重启时，数据订阅会自动切换，这个过程对+SDK+来说是透明的。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1r9qb|type|unstyled|text|需要确认输入的参数是否匹配，ip、+port、+secretId、+secretKey、+channelId+是否匹配。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|fr96q|type|unstyled|text|子账号默认没有任何权限，需要根账号给子账号赋予+name/dts:AuthenticateSubscribeSDK+操作的权限，或者赋予+DTS+所有操作的权限+QcloudDTSFullAccess。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|97ur9|type|unstyled|text|在正常消费情况下，不会。如果+SDK+非正常退出，最后确认的位点信息没有及时上报，下次启动可能会收到重复数据，这种情况概率极小。|depth|inlineStyleRanges|entityRanges|1piru|如果没有确认完一个完整的事务，那么下次启动会从这个事务的头部开始重新拉取，这种情况下，不能看作重复数据。+SDK+的核心逻辑会保证事务的完整性。+|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|3752t|type|unstyled|text|不可以，目前一个数据订阅实例只能订阅一个+TencentDB+实例。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bfnk7|type|unstyled|text|选一个配置更好一点的宿主机，单个+SDK+在高速平稳运行时，消耗+CPU+资源小于1核，内存占用小于1.5GB。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3nnsb|type|unstyled|text|英文句号+.+是元字符的最简单的例子。元字符+.+可以匹配任意单个字符。它不会匹配换行符和新行的字符。例如正则表达式+.ar，表示:+任意字符后面跟着一个字母+a，再后面跟着一个字母+r。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

英文句号

blocks|key|fgj54|type|unstyled|text|字符集也称为字符类。方括号被用于指定字符集。使用字符集内的连字符来指定字符范围。方括号内的字符范围的顺序并不重要。|depth|inlineStyleRanges|entityRanges|3f6r7|例如正则表达式+Tthe，表示:+大写+T+或小写+t+，后跟字母+h，再后跟字母+e。|40b6v|然而，字符集中的英文句号表示它字面的含义。正则表达式+ar.，表示小写字母+a，后面跟着一个字母+r，再后面跟着一个英文句号+.+字符。|c0ec5|一般来说插入字符+%5E+表示一个字符串的开始，但是当它在方括号内出现时，它会取消字符集。例如正则表达式+%5Ecar，表示:+除了字母+c+以外的任意字符，后面跟着字符+a，再后面跟着一个字母+r。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

字符集

blocks|key|1ek5|type|unstyled|text|以下元字符+%2B，*+或+?+用于指定子模式可以出现多少次。这些元字符在不同情况下的作用不同。|depth|inlineStyleRanges|entityRanges|f1it2|该符号++表示匹配上一个匹配规则的零次或多次。正则表达式+a+表示小写字母+a+可以重复零次或者多次。但是它如果出现在字符集或者字符类之后，它表示整个字符集的重复。|offset|length|style|ITALIC|4p47f|例如正则表达式+a-z*，表示：一行中可以包含任意数量的小写字母。|sfrl|该++符号可以与元符号+.+用在一起，用来匹配任意字符串+.。该+*+符号可以与空格符+\s+一起使用，用来匹配一串空格字符。|b99mh|例如正则表达式+\scat\s，表示：零个或多个空格，后面跟小写字母+c，再后面跟小写字母+a，再往后面跟小写字母+t，后面再跟零个或多个空格。|42gl|该符号+%2B+匹配上一个字符的一次或多次。例如正则表达式+c.%2Bt，表示：一个小写字母+c，后跟任意数量的字符，后跟小写字母+t。|6bvl9|在正则表达式中，元字符+?+用来表示前一个字符是可选的。该符号匹配前一个字符的零次或一次。|8k2ed|例如正则表达式+T?he，表示：可选的大写字母+T，后面跟小写字母+h，后跟小写字母+e。|entityMap|data|mutability^0|0|4|Q|0|0|2|S|0|A|5|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@$C|X|D|Y|E|F]]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@$C|11|D|12|E|F]]|9|@]]|$1|K|3|4|5|L|7|13|8|@$C|14|D|15|E|F]]|9|@]]|$1|M|3|4|5|N|7|16|8|@]|9|@]]|$1|O|3|4|5|P|7|17|8|@]|9|@]]|$1|Q|3|4|5|R|7|18|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

重复

blocks|key|2nhdn|type|unstyled|text|在正则表达式中花括号（也被称为量词）用于指定字符或一组字符可以重复的次数。例如正则表达式+0-9{2,3}，表示:+匹配至少2位数字但不超过3位(0到9范围内的字符)。|depth|inlineStyleRanges|entityRanges|gc6l|我们可以省略第二个数字。例如正则表达式+0-9{2,}，表示:+匹配2个或更多个数字。如果我们也删除逗号，则正则表达式+0-9{2}，表示:+匹配正好为2位数的数字。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

花括号

blocks|key|6499q|type|unstyled|text|字符组是一组写在圆括号内的子模式+(...)。正如我们在正则表达式中讨论的那样，如果我们把一个量词放在一个字符之后，它会重复前一个字符。|depth|inlineStyleRanges|entityRanges|c577r|但是，如果我们把量词放在一个字符组之后，它会重复整个字符组。|hcq9|例如正则表达式+(ab)*+表示匹配零个或多个的字符串+"ab"。我们还可以在字符组中使用元字符+%7C。例如正则表达式+(c%7Cg%7Cp)ar，表示:+小写字母+c、g+或+p+后面跟字母+a，后跟字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

字符组

blocks|key|f7a22|type|unstyled|text|在正则表达式中垂直条+%7C+用来定义分支结构，分支结构就像多个表达式之间的条件。现在您可能认为这个字符集和分支机构的工作方式一样。|depth|inlineStyleRanges|entityRanges|1htcn|但是字符集和分支结构巨大的区别是字符集只在字符级别上有作用，然而分支结构在表达式级别上依然可以使用。|fop1|例如正则表达式+(T%7Ct)he%7Ccar，表示:+大写字母+T+或小写字母+t，后面跟小写字母+h，后跟小写字母+e+或小写字母+c，后跟小写字母+a，后跟小写字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

分支结构

blocks|key|750fi|type|unstyled|text|正则表达式中使用反斜杠+\+来转义下一个字符。这将允许您使用保留字符来作为匹配字符+{+}+++/+\+%2B+*+.+$+%5E+%7C+?。在特殊字符前面加+\，就可以使用它来做匹配字符。|depth|inlineStyleRanges|entityRanges|3egr8|例如正则表达式+.+是用来匹配除了换行符以外的任意字符。现在要在输入字符串中匹配+.+字符，正则表达式+(f%7Cc%7Cm)at.?，表示:+小写字母+f、c+或者+m+后跟小写字母+a，后跟小写字母+t，后跟可选的+.+字符。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

转义特殊字符

blocks|key|crt65|type|unstyled|text|在正则表达式中，为了检查匹配符号是否是起始符号或结尾符号，我们使用定位符。|depth|inlineStyleRanges|entityRanges|f5ldi|定位符有两种类型:+第一种类型是+%5E+检查匹配字符是否是起始字符，第二种类型是+$，它检查匹配字符是否是输入字符串的最后一个字符。|6493a|插入符号+%5E+符号用于检查匹配字符是否是输入字符串的第一个字符。如果我们使用正则表达式+%5Ea+(如果a是起始符号)匹配字符串+abc，它会匹配到+a。|7a7cf|但是如果我们使用正则表达式+%5Eb，它是匹配不到任何东西的，因为在字符串+abc+中+"b"+不是起始字符。|182pu|让我们来看另一个正则表达式+%5E(T%7Ct)he，这表示:+大写字母+T+或小写字母+t+是输入字符串的起始符号，后面跟着小写字母+h，后跟小写字母+e。|a9m9p|美元+$+符号用于检查匹配字符是否是输入字符串的最后一个字符。例如正则表达式+(at.)$，表示:+小写字母+a，后跟小写字母+t，后跟一个+.+字符，且这个匹配器必须是字符串的结尾。|6rhl3|正则表达式为常用的字符集和常用的正则表达式提供了简写。简写字符集如下:|5hug7|后行断言和先行断言有时候被称为断言，它们是特殊类型的非捕获组+(用于匹配模式，但不包括在匹配列表中)。当我们在一种特定模式之前或者之后有这种模式时，会优先使用断言。|8eb9v|例如，我们想获取输入字符串+$4.44+and+$10.88+中+$+字符之前的所有数字。我们可以使用这个正则表达式+(?<=\$)0-9.*，表示:+获取+$+字符之前的所有的数字包含+.+字符。|2ftvb|以下是正则表达式中使用的断言:|entityMap|data|mutability^0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@]|9|@]]|$1|C|3|4|5|D|7|X|8|@]|9|@]]|$1|E|3|4|5|F|7|Y|8|@]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@]|9|@]]|$1|K|3|4|5|L|7|11|8|@]|9|@]]|$1|M|3|4|5|N|7|12|8|@]|9|@]]|$1|O|3|4|5|P|7|13|8|@]|9|@]]|$1|Q|3|4|5|R|7|14|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

定位符

blocks|key|fgeto|type|unstyled|text|正向先行断言认为第一部分的表达式必须是先行断言表达式。返回的匹配结果仅包含与第一部分表达式匹配的文本。|depth|inlineStyleRanges|entityRanges|381nd|要在一个括号内定义一个正向先行断言，在括号中问号和等号是这样使用的+(?=...)。先行断言表达式写在括号中的等号后面。|9bl0u|例如，正则表达式+(T%7Ct)he(?=\sfat)，表示:+匹配大写字母+T+或小写字母+t，后面跟字母+h，后跟字母+e。|dddlm|在括号中，我们定义了正向先行断言，它会引导正则表达式引擎匹配+The+或+the+后面跟着+fat。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

正向先行断言

blocks|key|3in04|type|unstyled|text|当我们需要从输入字符串中获取不匹配表达式的内容时，使用负向先行断言。负向先行断言的定义跟我们定义的正向先行断言一样，|depth|inlineStyleRanges|entityRanges|1ulbc|唯一的区别是不是等号+=，我们使用否定符号+!，例如+(?!...)。|adlg|我们来看下面的正则表达式+(T%7Ct)he(?!\sfat)，表示:+从输入字符串中获取全部+The+或者+the+且不匹配+fat+前面加上一个空格字符。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

负向先行断言

blocks|key|9sb0r|type|unstyled|text|正向后行断言是用于获取在特定模式之前的所有匹配内容。正向后行断言表示为+(?<=...)。例如正则表达式+(?<=(T%7Ct)he\s)(fat%7Cmat)，表示:+从输入字符串中获取在单词+The+或+the+之后的所有+fat+和+mat+单词。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

正向后行断言

blocks|key|1nf4t|type|unstyled|text|负向后行断言是用于获取不在特定模式之前的所有匹配的内容。负向后行断言表示为+(?<!...)。例如正则表达式+(?<!(T%7Ct)he\s)(cat)，表示:+在输入字符中获取所有不在+The+或+the+之后的所有单词+cat。|depth|inlineStyleRanges|entityRanges|hsun|标记也称为修饰符，因为它会修改正则表达式的输出。这些标志可以以任意顺序或组合使用，并且是正则表达式的一部分。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

负向后行断言

blocks|key|66sfu|type|unstyled|text|i+修饰符用于执行不区分大小写匹配。例如正则表达式+/The/gi，表示:+大写字母+T，后跟小写字母+h，后跟字母+e。|depth|inlineStyleRanges|entityRanges|bhri5|但是在正则匹配结束时+i+标记会告诉正则表达式引擎忽略这种情况。正如您所看到的，我们还使用了+g+标记，因为我们要在整个输入字符串中搜索匹配。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

不区分大小写

blocks|key|5210j|type|unstyled|text|g+修饰符用于执行全局匹配+(会查找所有匹配，不会在查找到第一个匹配时就停止)。|depth|inlineStyleRanges|entityRanges|brvf8|例如正则表达式+/.(at)/g，表示:+除换行符之外的任意字符，后跟小写字母+a，后跟小写字母+t。|e2s64|因为我们在正则表达式的末尾使用了+g+标记，它会从整个输入字符串中找到每个匹配项。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

全局搜索

blocks|key|f6t4a|type|unstyled|text|m+修饰符被用来执行多行的匹配。正如我们前面讨论过的+(%5E,+$)，使用定位符来检查匹配字符是输入字符串开始或者结束。但是我们希望每一行都使用定位符，所以我们就使用+m+修饰符。|depth|inlineStyleRanges|entityRanges|f7jpo|例如正则表达式+/at(.)?$/gm，表示:+小写字母+a，后跟小写字母+t，匹配除了换行符以外任意字符零次或一次。而且因为+m+标记，现在正则表达式引擎匹配字符串中每一行的末尾。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

多行匹配

blocks|key|2r51|type|unstyled|text|不会，DTS+进行数据迁移时，其实是复制了源数据库的一份数据，并不会对源数据库的数据有任何影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|rjal|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|871s1|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bikdg|type|unstyled|text|因为迁移过程会有导入冷备阶段，我们会关闭+binlog+来提升写入性能，所以会有部分内容缺少，如果要实现内容不缺失，需要首先建立迁移，确保目标实例已经进入同步中后，然后再对目标实例设置订阅功能。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|b8shj|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

blocks|key|e72bt|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|35m1c|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|4vc91|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|7gnei|type|unstyled|text|因为我们的全量检测是需要对+session+进行+binlog+格式的设置，这个是需要+super+权限的，需要对迁移账号增加+super+权限授权。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6ngss|type|unstyled|text|TokuDB+有两种情况不支持转换到+InnoDB：源实例存在+TokuDB+压缩特性的表，或者存在+cluster+index+特性的表。n|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据传输服务

数据库

数据仓库

Kafka

云数据库

关系型数据库

NoSQL

数据挖掘

云迁移

数据一致性

数据流

服务器

在现代数据库应用中，数据迁移是常见且复杂的操作，涉及数据量大、服务连续性要求高及数据一致性保障等多重挑战。如何在保证业务持续运行的前提下，实现数据的高效、安全迁移，成为数据库运维及开发人员关注的重点。 本文聚焦于YashanDB数据库的数据迁移技术，结合其独特的架构设计和存储引擎特性，系统性地分析迁移过程中的关键技术点，旨在为具备一定数据库背景的技术人员提供操作指导和优化建议。 并行执行线程及向量化计算技术支持批量数据传输和计算，显著提高迁移数据处理速度。在分布式场景下，迁移作业使用MPP架构，实现节点间和节点内的多级并行，减少迁移等待时间。 分别规划热数据与冷数据迁移策略，优先迁移冷数据，使用SCOL存储压缩格式，减少网络负载和磁盘IO压力。利用主备复制的redo日志机制，实施增量迁移，通过同步模式确保数据一致性，降低切换风险。 部署迁移后，使用故障诊断工具和自动诊断存储库监控，及时发现并修复潜在迁移故障，确保系统稳定。结论合理利用YashanDB数据库的架构优势、存储特性和分布式能力，是实现高效、安全数据迁移的关键。

如何使用YashanDB数据库进行高效的数据迁移

在现代数据库应用中，数据迁移是常见且复杂的操作，涉及数据量大、服务连续性要求高及数据一致性保障等多重挑战。如何在保证业务持续运行的前提下，实现数据的高效、安全迁移，成为数据库运维及开发人员关注的重点。本文聚焦于YashanDB数据库的数据迁移技术，结合其独特的架构设计和存储引擎特性，系统性地分析迁移过程中的关键技术点，旨在为具备一定数据库背景的技术人员提供操作指导和优化建议。

如何使用YashanDB数据库进行高效的数据迁移

通过云CVM业务访问本地IDC机房数据库（需考虑网络延迟）或者访问云上新建数据库(仅包含测试数据)，验证应用服务迁移成功。本文使用一次性割接方案，切割前使用云服务器访问云数据库进行测试和验证。 [数据库迁移架构图示]
5.1 迁移流程概览
5.1.1 DTS迁移数据库流程原理图示
[DTS数据库迁移原理图]
5.1.2 DTS数据传输步骤概览
使用DTS数据传输服务完成数据库迁移上云，主要步骤如下图 如果使用已购买的实例，建议针对规格配置、网络等进行二次检查和调整，同时需要先清空目标云数据库的数据，再进行正式的数据迁移，避免数据冲突导致迁移失败。 步骤1 整实例迁移的目标 CDB 必须是空库，如果不为空，例如含有测试数据，请先清空目标实例，再进行迁移。 步骤1 写云数据库操作之前，需断开DTS同步状态。验证数据同步一致性完成后，在DTS数据迁移页面找到迁移任务，点击【完成】按钮，二次校验后点击【确定】，断开本地IDC机房数据库与云数据库的同步。

中小型企业IDC机房数据库迁移上云的最佳实践

本文主要介绍中小型互联网企业，从本地机房迁移数据库到腾讯云的实践方法。其中包含了详细数据库迁移的方法和步骤，并且增加了实践演练和验证。实践与验证部分内容以常见的 Discuz! 论坛迁移上云做为案例。

中小型企业IDC机房数据库迁移上云的最佳实践

一文了解腾讯云数据库SaaS服务。支持查看所有迁移任务的状态及多任务批量操作。数据传输服务 DTS 支持数据迁移功能，提供自建 PostgreSQL 数据库到云数据库TencentDB for MySQL的连续数据复制，用户可在不停服的情况下对数据进行在线热迁移，支持具有公网 IP/Port 或专线接入腾讯云的本地 IDC 或腾讯云云服务器 CVM 上 PostgreSQL 数据库迁移。1.全面审计 使用 DTS 数据订阅 SDK 连接这个订阅通道，订阅并消费增量数据。

数据传输服务DTS的目标是帮用户将复杂的数据交互工作承担下来，让用户可以专注于上层的业务开发。








数据迁移


支持不同环境及不同类型的数据库迁移。 支持查看所有迁移任务的状态及多任务批量操作。 DTS提供的数据迁移功能是您数据上云的的最佳选择。数据迁移仅需几步设置，则可帮助您完成数据从本地迁移上云的一系列繁琐工作。 ，请确保源实例服务在外网环境下可访问；
进行迁移任务时，只允许迁移正常运行状态下的实例，且未初始化密码或者有其他任务在执行中的实例，是不能够迁移的；
目的实例必须是没有数据的空实例，迁移过程中，会锁住实例 ，不能对实例进行写入操作；
迁移成功时，由业务侧验证数据后，可断开源实例连接，将连接切换到目标实例。 DTS 提供了基于 binlog 的增量数据订阅功能，仅需几步简单操作，即可订阅云数据库 TencentDB for MySQL 的增量更新数据：


在腾讯云 DTS 控制台购买并创建 TencentDB

一文了解腾讯云数据库SaaS服务

下方视频为邵宗文在未来大会演讲实录。每个行业对数据库有不一样的要求，云上数据库通过智能化运维，数据会越来越多，准确度也越来越高，模型也会越来越精准。腾讯云上数据库如何满足用户多样化的诉求？一起来听听吧。

一文了解腾讯云数据库SaaS服务

CDB 迁移问题汇总。答：CDB侧在备份系统中的某台机器上发mysqldumper命令，将源实例备份在本地，然后倒入到目标CDB实例里面，根据备份时候获取的位置点与源实例建立复制同步关系。答：如果是腾讯云CVM上自建的mysql 迁移至CDB那是无需外网的，其他厂商迁移过来是需要的，目前支持： 答：同问题1。8、是否支持云上到云下迁移？答：若客户用的RDS(阿里云数据库)，迁移时需要从阿里侧发起DTS迁移。

2.MySQL迁移后，在业务切换过程中，如何进行数据校验。 支持具有公网IP/Port 的MySQL数据库迁移至CDB实例。


支持V**接入、专线接入腾讯云的MySQL数据库迁移至CDB实例。


4.MySQL DTS如果连接断开，会有断点续传吗? 答：DTS迁移是一个标准的迁移流程，如果在备份或还原的过程中与源实例的链接断开，此时人工介入继续该流程即可，不过对应的这一步操作需重新执行。


5.DTS迁移的内在原理和机制。 答：需客户拉取对应CDB的备份，还原至目标机，手工建立与CDB的复制关系。


9、迁移是否有同步的功能，即：迁移完了是否会同步一段时间？


答：同问题6。 checklist，是否有规划做成标准工具


答：若客户用的RDS(阿里云数据库)，迁移时需要从阿里侧发起DTS迁移。

CDB 迁移问题汇总

CDB 迁移问题汇总

2.2、关键问题的技术方案2.2.1 Redis Exactly Once●背景问题：非幂等命令回退问题使用数据同步工具同步社区 Redis 时，往往使用社区的 PSYNC 复制协议拉取源节点的数据，然后以客户端的形式写入目标节点 所以在DTS迁移时，就要控制对源库同时PSYNC的数量。 源数据库写QPS目标数据库写QPS3. DTS任务进行数据迁移。 （全量 阶段会flushall目标库，此时切流目标端数 据严重缺失）阶段二：切流中1、停止灾备实例从Keeper拉取增量。将 灾备实例提升为可写状态。业务需保持进 行状态。

IDC Redis如何基于云DTS实现云上容灾

本文为某A云厂商解决方案团队为陌陌IDC机房Redis实例实现云上灾备的定制方案（方案已脱敏）。针对 Redis 跨机房数据同步，行业普遍有两个非常常见的问题需要解决：

使用 DTS 进行数据迁移，目标库是否需要为空？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐