blocks|key|d0vlp|type|unstyled|text|不支持，源端或者目标端必须有一个是腾讯云数据库。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

DTS 是否支持两端都是线下库的迁移？

entityMap|0|type|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/59387|1|https://cloud.tencent.com/document/product/571/59386|2|https://cloud.tencent.com/document/product/571/59388|blocks|key|2fpkh|text|数据传输服务的产品功能有哪些？|header-one|depth|inlineStyleRanges|entityRanges|af10j|数据迁移+|header-two|offset|length|style|BOLD|aaqk1|数据迁移功能指不同数据源之间的数据复制，腾讯云+DTS+支持数据库不停机迁移，最小化迁移过程引起的数据库宕机对业务造成的影响。数据迁移功能适用于数据上云迁移、腾讯云内部跨实例数据迁移、第三方厂商迁移至腾讯云等业务场景。|unstyled|bk6i8|数据同步+|fg9ic|数据同步功能指两个数据源之间的数据实时同步，可应用于云上云下多活、异地多活、跨境数据同步，及实时数据仓库等业务场景。|70b6b|数据同步不同于数据迁移，数据迁移是以整体数据库搬迁为目的，它属于一次性的短期任务，而数据同步属于持续性任务，任务创建后会一直同步数据，保持源库和目标库的数据一致性。|5cvke|数据订阅+|7510e|数据订阅是指获取数据库中关键业务的数据变化信息，将这些信息包装为消息对象推送到+Kafka+中，方便下游业务订阅、获取和消费。腾讯云+DTS+支持通过+Kafka+Client+直接消费数据，方便用户搭建云数据库和异构系统之间的数据同步，如缓存更新，ETL（数据仓库技术）实时同步，业务异步解耦等。|52vqt|数据传输服务+DTS+支持关系型数据库+RDBMS、非关系型数据库+NoSQL+数据源间的数据传输。它提供了数据迁移、实时数据订阅以及实时数据同步等多种数据传输方式。相对于第三方数据流工具，数据传输服务+DTS+提供更丰富多样、高性能、高安全可靠的传输链路，同时提供了诸多便利功能，极大地方便了传输链路的创建及管理。|fuvi8|数据传输服务的产品优势是什么？|empak|数据同步|fj1nu|数据传输服务帮助您将数据库迁移至+TencentDB，且几乎不需要停机拷贝。源数据库在迁移期间发生的所有数据更改都会复制到目标数据库，因此迁移期间不影响源数据库对外提供服务。在数据复制完成后，源数据库和目标数据库将保持继续同步，您可自由选择业务切换时间。|1l00o|高传输性能|acbm4|数据传输服务使用高规格服务器来保证每条迁移同步链路都能拥有良好的传输性能。在数据迁移方面，数据传输服务底层采取了多种性能优化措施；相对于传统的数据迁移工具，极大提升了传输性能。|esr10|故障自动恢复|f201o|数据传输服务具有极高的可用性，每个节点均具备高度的恢复和自愈能力，故障秒级恢复。DTS+的高可靠性让您可以放心将数据迁移上云，无需担心迁移数据的一致性问题。|1ee33|可视化操作|3bn8k|数据传输服务无需单独安装驱动程序或应用程序，无需对源数据库做大幅改动，只需在腾讯云提供的可视化管理界面进行简单配置即可开启数据传输。|au89h|设置简单快速|6t9sm|在腾讯云数据传输服务管理控制台中，只需花费几分钟就能设置一个迁移任务。您可以在迁移任务中定义用来执行迁移的各项参数，其中包括设置源数据库和目标数据库的连接，以及迁移类型和对象。|d5n48^0|0|0|4|0|4|0|0|0|0|4|0|4|1|0|0|0|0|4|0|4|2|0|0|0|0|0|0|0|0|0|0|0|0|0|0^^$0|$1|$2|3|4|5|6|$7|8]]|9|$2|3|4|5|6|$7|A]]|B|$2|3|4|5|6|$7|C]]]|D|@$E|F|G|H|2|I|J|1V|K|@]|L|@]|6|$]]|$E|M|G|N|2|O|J|1W|K|@$P|1X|Q|1Y|R|S]]|L|@$P|1Z|Q|20|E|21]]|6|$]]|$E|T|G|U|2|V|J|22|K|@]|L|@]|6|$]]|$E|W|G|X|2|O|J|23|K|@$P|24|Q|25|R|S]]|L|@$P|26|Q|27|E|28]]|6|$]]|$E|Y|G|Z|2|V|J|29|K|@]|L|@]|6|$]]|$E|10|G|11|2|V|J|2A|K|@]|L|@]|6|$]]|$E|12|G|13|2|O|J|2B|K|@$P|2C|Q|2D|R|S]]|L|@$P|2E|Q|2F|E|2G]]|6|$]]|$E|14|G|15|2|V|J|2H|K|@]|L|@]|6|$]]|$E|16|G|17|2|V|J|2I|K|@]|L|@]|6|$]]|$E|18|G|19|2|I|J|2J|K|@]|L|@]|6|$]]|$E|1A|G|1B|2|O|J|2K|K|@]|L|@]|6|$]]|$E|1C|G|1D|2|V|J|2L|K|@]|L|@]|6|$]]|$E|1E|G|1F|2|O|J|2M|K|@]|L|@]|6|$]]|$E|1G|G|1H|2|V|J|2N|K|@]|L|@]|6|$]]|$E|1I|G|1J|2|O|J|2O|K|@]|L|@]|6|$]]|$E|1K|G|1L|2|V|J|2P|K|@]|L|@]|6|$]]|$E|1M|G|1N|2|O|J|2Q|K|@]|L|@]|6|$]]|$E|1O|G|1P|2|V|J|2R|K|@]|L|@]|6|$]]|$E|1Q|G|1R|2|O|J|2S|K|@]|L|@]|6|$]]|$E|1S|G|1T|2|V|J|2T|K|@]|L|@]|6|$]]|$E|1U|G|-4|2|V|J|2U|K|@]|L|@]|6|$]]]]

数据订阅正则表达式

[Kafka 使用何种认证机制？](id:faq3)

服务端消息保留多久，如何设置消费 offset？

数据订阅 Kafka 版

数据同步对目标库有啥影响，是否要求目标库为空？

支持将高版本实例的数据同步到低版本的实例吗？

在双向同步拓扑中，是否可以对 DDL 进行双向同步？

同步任务启动后，是否支持增加或删除库表对象？

数据同步

数据迁移、同步、订阅如何收费的？

购买包年包月实例时，需要主账号支付，子账号不能购买？

购买及付费

使用 DTS 进行数据迁移，目标库是否需要为空？

数据迁移过程中源库是否支持写入？

数据迁移过程中目标库是否支持写入？

DTS 是否支持两个不同腾讯云账号下的 TencentDB 实例之间的数据迁移？

DTS 是否支持同一个数据库实例内不同库表的迁移？

同一个源端数据库是否支持配置多个 DTS 任务，往不同的云数据库实例上迁移？

迁移过程中可以监控任务的进度吗？

为什么数据增量迁移服务会有15天设置?

在迁移数据过程中，如何保障数据准确性？

数据校验为什么需要源数据库实例不为只读？

DTS 数据迁移能指定库表进行迁移么？

为什么全量迁移前后数据的大小不一致？

DTS 数据传输服务，是否支持跨国数据库迁移？

DTS 迁移过程中任务异常中断，是否可以重新启动？

对源库设置 binlog_format 为 row 之后，如何确保源库 binlog_format 格式立刻生效？

如果迁移的源实例里面有 Toku 引擎，迁移会有什么需要注意的？

MySQL 数据迁移可以迁移用户权限吗？

数据迁移

常见问题（NewDTS）

使用 DTS 进行数据迁移，源数据库的数据会不会在迁移后被删除掉？

为何开启了订阅的目标实例进行迁移会有内容缺少？

为何迁移时候选了全量检测会报缺少 super 权限的错误？

TokuDB 表在 DTS 迁移校验时校验出错可能是什么原因？

数据订阅支持多个 SDK 同时连接消费同一个通道吗？

数据订阅支持一个 SDK 同时连接多个通道吗？

SDK 启动报错，错误为：already has sdk on this channel，是什么原因？

数据订阅订阅实时增量数据时，新增的数据是指新增数据，还是包含修改的数据？

TencentDB 实例和本地数据库的表结构相同，但是索引不同，可以使用数据订阅功能进行实时同步吗？

数据订阅通道无法修改消费位点，原因是什么？

如何确认数据是否正常消费呢？

数据订阅如果消费端有一条记录没有 ACK，SDK 重启后为什么会收到重复数据呢？

如果 SDK 退出后，过几天重启运行，不能成功订阅数据？错误为：Maybe checkpint is too old？

SDK 正常拉数据过程中，突然卡住不能订阅到数据，但重启之后又可以消费到一部分，之后又卡住，是什么原因呢？

如何保证 SDK 订阅到的数据是一个完整的事务，根据提供的消费位点会拉取到事务中间的 record 吗？

数据订阅在 TencentDB 主备切换/主库重启时是否会发生问题？是否可能出现丢数据的情况？

SDK 启动时，报错：Do DTS authentication fail, caused by: get channel info from msg failed. 是什么原因？

SDK 启动时，报 secretId 没有权限？

数据订阅可能会收到重复数据吗？

一个数据订阅实例，可以订阅多个 TencentDB 实例吗？

如果 SDK 在运行的过程中发生 OOM 怎么办？

数据订阅

常见问题（旧版）

blocks|key|e93em|type|unstyled|text|数据迁移到目标库时，可以选择整个实例迁移，也可以选择指定对象迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1s88|type|unstyled|text|支持，迁移过程中源库可以正常进行数据写入，但在结构迁移、全量迁移阶段不能对源库进行+DDL+操作，否则可能会导致任务失败。等到增量迁移阶段，DDL+和+DML+都可以正常操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8ld64|type|unstyled|text|目标库不需要设置为只读，但是建议不要对目标库进行写入，如果在迁移过程中，用户同时向目标库写入，可能会导致最终源和目标的数据不一致。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cnsuf|type|unstyled|text|支持，进行跨腾讯云账号下+TencentDB+实例间的迁移，需要以目标+TencentDB+实例所属的腾讯云账号登录+DTS。具体操作请参见+云数据库跨账号实例间迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/54117^0|0|1Z|C^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cq4pp|type|unstyled|text|不支持，DTS+仅支持源库和目标库为不同的数据库实例之间的数据迁移，不支持源库和目标库为同一个数据库实例（同一个数据库实例内不同库表对象的迁移）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8sujg|type|unstyled|text|支持，支持同一个源端迁移到多个目标端（任务可并行处理），也支持多个源端迁移到同一个目标端（需要等前一个任务进行到增量阶段才可发起新一个任务）。需要注意多个任务并行，可能会增加源端或者目标端的访问压力，影响迁移速率。如果您确定需要对同一个源端数据库创建多个任务，可以在创建第一个迁移任务后，通过操作列更多+>+创建类似任务，快捷创建相同的任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3biup|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

DTS 是否支持定时自动迁移？

blocks|key|bv7tm|type|unstyled|text|可以，您可以在腾讯云+DTS+控制台+数据迁移页面查看迁移任务进度。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dtsnew/migrate/page^0|0|B|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2hptb|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6a0d7|type|unstyled|text|DTS+内部采用腾讯云自研数据迁移架构，对传输链路进行实时的数据准确性校验，快速发现并纠正传输数据，保障传输数据可靠性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ernp6|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

blocks|key|63mht|type|unstyled|text|可以，迁移对象可以选择整个实例，也可以选择指定库表对象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|hclp|type|unstyled|text|用户选择增量迁移时，任务长时间没有结束，有可能需要用户自己进行结束操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据迁移什么时候结束？

blocks|key|6fs70|type|unstyled|text|因为源库和目标库的碎片空间不一样，源库可能存在一些空洞数据，因此全量迁移完成后目标库的表存储空间很可能会比源库的表存储空间小。建议用户迁移完成后使用+数据一致性校验+来核对源库和目标库内容是否一致。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/62564^0|0|23|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|9tbtd|type|unstyled|text|支持，接入方式选择公网可以实现跨国数据传输。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|dhdka|type|unstyled|text|可以，用户在配置任务时，可以设置自动重试策略，在任务发生异常中断（如源库或者目标库短暂不可用，网络问题等），DTS+支持在设置的时间范围内进行自动重试，无需手动干预。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cddgb|type|unstyled|text|MySQL+迁移过程中的加锁，指的是对源数据库加全局锁（FTWRL），选择全量数据迁移的场景中，才会涉及到加锁处理。|depth|inlineStyleRanges|entityRanges|ao9f7|当前+DTS+在+MySQL/MariaDB//Percona/TDSQL-C+MySQL/TDSQL+MySQL/TDSQL+TDStore+之间的数据迁移中，默认使用无锁迁移。无锁迁移指对源库不加全局锁（FTWRL），仅对无主键的表加表锁。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

MySQL 迁移过程中是否会加锁？

blocks|key|2eoo2|type|unstyled|text|支持，但是建议用户选择有主键校验的表，无主键的表也可以发起任务，但是会造成以下影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持迁移无主键的表？

blocks|key|fn8ov|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|apkh8|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|5h53s|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|4saed|type|unstyled|text|支持，新版本+DTS+支持对用户的权限进行迁移，具体操作请参考+账号迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/65702^0|0|W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cds29|type|unstyled|text|收费链路和具体收费标准请参见+计费概述。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/18736^0|0|F|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2fmnr|type|unstyled|text|退费仅对以包年包月形式购买的实例，以按量计费形式购买的实例，因为本身是后付费形式，无法申请退款。对包年包月实例进行退费时，每个主体默认享有1次5天内无理由全额退款，其余退款申请按照非全额退款处理。具体请参见+退费说明。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/40536^0|0|2W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

支持退费吗？

blocks|key|orsd|type|unstyled|text|子用户一般没有支付+DTS+包年包月实例的权限，在提交订单时出现如下提示，需要主账号来支付订单。n|depth|inlineStyleRanges|entityRanges|cn5bh|请参考+授权子用户财务权限，授权子用户支付包年包月实例的权限。|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/74020^0|0|0|4|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]]|$1|A|3|4|5|B|7|N|8|@]|9|@$1|O|C|P|D|Q]]]]|E|$F|$3|G|H|I|J|$K|L]]]]

blocks|key|89bgp|type|unstyled|text|使用+DTS+进行数据同步对目标库没有影响，不需要目标库为空。DTS+支持检测源库和目标库是否有同名对象，并支持在发生同名对象冲突时按照设置的策略进行处理，将任务报错提醒用户，或者忽略报错继续任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5jsc9|type|unstyled|text|不支持。同一个类型的数据库，目标实例的大版本必须不小于源实例。以+MySQL+实例为例，不支持+MySQL+5.7+的实例同步到+MySQL+5.6。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|b0bsq|type|unstyled|text|可以。可以将云上的数据库同步到云下，接入方式支持公网、云联网等。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

源/目标能否为云下实例？

blocks|key|85njv|type|unstyled|text|不可以。创建同步实例时，只能允许其中一个实例进行+DDL+同步，否则检测算法检测到+DDL+循环，会禁止其中一个实例的创建。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1e3aa|type|unstyled|text|当前技术方案采用在事务中打上路由信息来标记事务的来源，依赖于事务的原子性。基于非事务引擎的库表，会破坏了事务的原子性，无法保证数据一致，不建议用户使用。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持非事务引擎？

blocks|key|5bs3b|type|unstyled|text|支持。选择需要修改的同步任务，通过操作+>+修改同步配置，可以修改同步任务配置。|depth|inlineStyleRanges|entityRanges|9vdq7|可支持增加/删除同步对象、修改主键冲突策略、SQL+同步策略等。修改同步配置时，已有的同步任务不会暂停，也不会受影响。更多详情请参考+。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|1fk6v|type|unordered-list-item|text|排查网络问题，Kafka+服务器地址为腾讯云内网地址，只能在腾讯云与订阅实例相同地域的私有网络内访问。|depth|inlineStyleRanges|entityRanges|5igq1|排查订阅+topic、内网地址、消费组名称、帐号、密码等是否正确。可在+数据订阅控制台+单击订阅名进入订阅详情页和消费管理页查看。|offset|length|66uf4|排查加密参数是否正确，参见+Kafka+使用何种认证机制。|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dts/dss|1|https://cloud.tencent.com/document/product/571/53454#faq3^0|0|0|10|7|0|1|E|E^^$0|@$1|2|3|4|5|6|7|Q|8|@]|9|@]]|$1|A|3|4|5|B|7|R|8|@]|9|@$1|S|C|T|D|U]]]|$1|E|3|4|5|F|7|V|8|@]|9|@$1|W|C|X|D|Y]]]]|G|$H|$3|I|J|K|L|$M|N]]|O|$3|I|J|K|L|$M|P]]]]

为什么我消费不到数据？

blocks|key|bmucr|type|unstyled|text|数据订阅+Kafka+版使用+Protobuf+进行序列化。Protobuf+协议文件可在+此处+下载，Demo+工程中也包含了协议文件，具体请参考+生产和消费逻辑讲解。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://subscribesdk-1254408587.cos.ap-beijing.myqcloud.com/subscribe.proto|1|https://cloud.tencent.com/document/product/571/52381#dgxljjj^0|0|1A|2|1|23|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@$1|N|A|O|B|P]|$1|Q|A|R|B|S]]]]|C|$D|$3|E|F|G|H|$I|J]]|K|$3|E|F|G|H|$I|L]]]]

数据格式是怎么样的?

blocks|key|468g3|type|unstyled|text|如下所示：|depth|inlineStyleRanges|entityRanges|5cp6l|atomic|[83aa8f6122ee106f57568b6f25a1bd08.png]|offset|length|entityMap|0|IMAGE|mutability|IMMUTABLE|data|imageUrl|https://main.qcloudimg.com/raw/83aa8f6122ee106f57568b6f25a1bd08.png|name^0|0|0|0|12^^$0|@$1|2|3|4|5|6|7|O|8|@]|9|@]]|$1|A|3|B|5|C|7|P|8|@]|9|@$1|Q|D|R|E|S]]]]|F|$G|$3|H|I|J|K|$L|M|N|-3]]]]

blocks|key|3qpqg|type|unstyled|text|首先请将+Kafka+的+enable_auto_commit+参数设置为+false，以关闭自动+commit。生产者会在消息序列中的合适位置插入+Checkpoint+消息，消费者消费到+Checkpoint+消息后进行+commit，这样有利于保证消息的完整性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

何时进行 Kafka commit?

blocks|key|98g27|type|unstyled|text|服务端消息保留1天。可以根据需要配置+Kafka+的+auto_offset_reset+参数为+earliest+或者+latest。如果需要从具体的+offset+开始消费，则可以利用+Kafka+Client+提供的+seek+功能，重新设置消费+offset。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|f3h17|type|unstyled|text|不支持，同一个通道最多只能有一个+SDK+连接并消费数据，如果用户有多个下游需要订阅同一个库表，可以通过建立多个通道来解决。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|be2v7|type|unstyled|text|支持，一个+SDK+可以同时消费多个通道。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8b8k1|type|unstyled|text|一个通道只能有一个+SDK+连接消费，如果新增连接，就会报这个错误。这时需确认程序是否完全退出，若确认完之后重连还是报同样的错误，可以将重启时间的间隔稍微加长一点，例如：20秒。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ff9li|type|unstyled|text|数据订阅可以订阅的增量数据包括：所有的增删改（+DML+）以及结构变更（+DDL+）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1se3a|type|unstyled|text|可以，如果数据订阅只订阅数据变更，那么两边索引不同不会影响。如果订阅了结构变更，而且+TencentDB+实例上涉及到索引变更的话，可能会由于两边索引不同，导致结构变更在本地消费失败。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|e4348|type|unstyled|text|修改位点报错时，界面上有相应的提示。一般是由于订阅通道还有下游在消费，可以先到+DTS+控制台查看消费来源+IP，查看是否还有下游+SDK+在消费数据，如果有，那么需要先停止下游消费后，重新修改消费位点。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1qd81|type|unstyled|text|在有数据写入的情况（+或者还有数据没有消费完+），如果数据正常消费，那么控制台上的消费位点就会正常迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|636bj|type|unstyled|text|当+SDK+有+message+没有+ACK+时，SDK+会持续拉取消息直到+SDK+内的缓存塞满，SDK+不再获取新消息。此时，服务端保存的消费位点为未+ACK+之前的最后一条+message+的位点。|depth|inlineStyleRanges|entityRanges|7hvam|当+SDK+重启时，为了保证消息不丢，服务端会从未+ACK+前一条+message+对应的位点开始重新推送数据，所以+SDK+此时会重复收取一部分消息。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|7kgbq|type|unstyled|text|数据订阅通道中保留数据的时间范围为1天，从当前时间-1天，当天时间，订阅通道会删除过期数据。所以如果上次+SDK+退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道有效数据范围内，那么就不能订阅到这个消费位点对应的数据。为修复这个问题，在启动+SDK+之前，需要先修改消费位点，确保消费位点在有效数据范围内。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5efv8|type|unstyled|text|这种情况，比较大可能是+SDK+代码中没有调用+ackAsConsumed+接口汇报消费位点导致的。由于+SDK+内部设置了有限缓存空间，如果不调用+ackAsConsumed+汇报位点，那么这缓存空间数据就不会删除，当缓存满时，就不能拉取新的数据，就会出现+SDK+卡住不能订阅数据现象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|2jeu|type|unstyled|text|不会，根据用户指定的消费位点或者上次确认消费的位点，服务端会搜索这个消费位点对应的完整事务的起始位置，从整个事务头部的开始，向下游+SDK+传输数据，所以可以保证接收到完整的事务内容。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|co62b|type|unstyled|text|不会有问题，TencentDB+实例发生主备切换/重启时，数据订阅会自动切换，这个过程对+SDK+来说是透明的。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1r9qb|type|unstyled|text|需要确认输入的参数是否匹配，ip、+port、+secretId、+secretKey、+channelId+是否匹配。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|fr96q|type|unstyled|text|子账号默认没有任何权限，需要根账号给子账号赋予+name/dts:AuthenticateSubscribeSDK+操作的权限，或者赋予+DTS+所有操作的权限+QcloudDTSFullAccess。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|97ur9|type|unstyled|text|在正常消费情况下，不会。如果+SDK+非正常退出，最后确认的位点信息没有及时上报，下次启动可能会收到重复数据，这种情况概率极小。|depth|inlineStyleRanges|entityRanges|1piru|如果没有确认完一个完整的事务，那么下次启动会从这个事务的头部开始重新拉取，这种情况下，不能看作重复数据。+SDK+的核心逻辑会保证事务的完整性。+|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|3752t|type|unstyled|text|不可以，目前一个数据订阅实例只能订阅一个+TencentDB+实例。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bfnk7|type|unstyled|text|选一个配置更好一点的宿主机，单个+SDK+在高速平稳运行时，消耗+CPU+资源小于1核，内存占用小于1.5GB。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3nnsb|type|unstyled|text|英文句号+.+是元字符的最简单的例子。元字符+.+可以匹配任意单个字符。它不会匹配换行符和新行的字符。例如正则表达式+.ar，表示:+任意字符后面跟着一个字母+a，再后面跟着一个字母+r。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

英文句号

blocks|key|fgj54|type|unstyled|text|字符集也称为字符类。方括号被用于指定字符集。使用字符集内的连字符来指定字符范围。方括号内的字符范围的顺序并不重要。|depth|inlineStyleRanges|entityRanges|3f6r7|例如正则表达式+Tthe，表示:+大写+T+或小写+t+，后跟字母+h，再后跟字母+e。|40b6v|然而，字符集中的英文句号表示它字面的含义。正则表达式+ar.，表示小写字母+a，后面跟着一个字母+r，再后面跟着一个英文句号+.+字符。|c0ec5|一般来说插入字符+%5E+表示一个字符串的开始，但是当它在方括号内出现时，它会取消字符集。例如正则表达式+%5Ecar，表示:+除了字母+c+以外的任意字符，后面跟着字符+a，再后面跟着一个字母+r。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

字符集

blocks|key|1ek5|type|unstyled|text|以下元字符+%2B，*+或+?+用于指定子模式可以出现多少次。这些元字符在不同情况下的作用不同。|depth|inlineStyleRanges|entityRanges|f1it2|该符号++表示匹配上一个匹配规则的零次或多次。正则表达式+a+表示小写字母+a+可以重复零次或者多次。但是它如果出现在字符集或者字符类之后，它表示整个字符集的重复。|offset|length|style|ITALIC|4p47f|例如正则表达式+a-z*，表示：一行中可以包含任意数量的小写字母。|sfrl|该++符号可以与元符号+.+用在一起，用来匹配任意字符串+.。该+*+符号可以与空格符+\s+一起使用，用来匹配一串空格字符。|b99mh|例如正则表达式+\scat\s，表示：零个或多个空格，后面跟小写字母+c，再后面跟小写字母+a，再往后面跟小写字母+t，后面再跟零个或多个空格。|42gl|该符号+%2B+匹配上一个字符的一次或多次。例如正则表达式+c.%2Bt，表示：一个小写字母+c，后跟任意数量的字符，后跟小写字母+t。|6bvl9|在正则表达式中，元字符+?+用来表示前一个字符是可选的。该符号匹配前一个字符的零次或一次。|8k2ed|例如正则表达式+T?he，表示：可选的大写字母+T，后面跟小写字母+h，后跟小写字母+e。|entityMap|data|mutability^0|0|4|Q|0|0|2|S|0|A|5|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@$C|X|D|Y|E|F]]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@$C|11|D|12|E|F]]|9|@]]|$1|K|3|4|5|L|7|13|8|@$C|14|D|15|E|F]]|9|@]]|$1|M|3|4|5|N|7|16|8|@]|9|@]]|$1|O|3|4|5|P|7|17|8|@]|9|@]]|$1|Q|3|4|5|R|7|18|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

重复

blocks|key|2nhdn|type|unstyled|text|在正则表达式中花括号（也被称为量词）用于指定字符或一组字符可以重复的次数。例如正则表达式+0-9{2,3}，表示:+匹配至少2位数字但不超过3位(0到9范围内的字符)。|depth|inlineStyleRanges|entityRanges|gc6l|我们可以省略第二个数字。例如正则表达式+0-9{2,}，表示:+匹配2个或更多个数字。如果我们也删除逗号，则正则表达式+0-9{2}，表示:+匹配正好为2位数的数字。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

花括号

blocks|key|6499q|type|unstyled|text|字符组是一组写在圆括号内的子模式+(...)。正如我们在正则表达式中讨论的那样，如果我们把一个量词放在一个字符之后，它会重复前一个字符。|depth|inlineStyleRanges|entityRanges|c577r|但是，如果我们把量词放在一个字符组之后，它会重复整个字符组。|hcq9|例如正则表达式+(ab)*+表示匹配零个或多个的字符串+"ab"。我们还可以在字符组中使用元字符+%7C。例如正则表达式+(c%7Cg%7Cp)ar，表示:+小写字母+c、g+或+p+后面跟字母+a，后跟字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

字符组

blocks|key|f7a22|type|unstyled|text|在正则表达式中垂直条+%7C+用来定义分支结构，分支结构就像多个表达式之间的条件。现在您可能认为这个字符集和分支机构的工作方式一样。|depth|inlineStyleRanges|entityRanges|1htcn|但是字符集和分支结构巨大的区别是字符集只在字符级别上有作用，然而分支结构在表达式级别上依然可以使用。|fop1|例如正则表达式+(T%7Ct)he%7Ccar，表示:+大写字母+T+或小写字母+t，后面跟小写字母+h，后跟小写字母+e+或小写字母+c，后跟小写字母+a，后跟小写字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

分支结构

blocks|key|750fi|type|unstyled|text|正则表达式中使用反斜杠+\+来转义下一个字符。这将允许您使用保留字符来作为匹配字符+{+}+++/+\+%2B+*+.+$+%5E+%7C+?。在特殊字符前面加+\，就可以使用它来做匹配字符。|depth|inlineStyleRanges|entityRanges|3egr8|例如正则表达式+.+是用来匹配除了换行符以外的任意字符。现在要在输入字符串中匹配+.+字符，正则表达式+(f%7Cc%7Cm)at.?，表示:+小写字母+f、c+或者+m+后跟小写字母+a，后跟小写字母+t，后跟可选的+.+字符。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

转义特殊字符

blocks|key|crt65|type|unstyled|text|在正则表达式中，为了检查匹配符号是否是起始符号或结尾符号，我们使用定位符。|depth|inlineStyleRanges|entityRanges|f5ldi|定位符有两种类型:+第一种类型是+%5E+检查匹配字符是否是起始字符，第二种类型是+$，它检查匹配字符是否是输入字符串的最后一个字符。|6493a|插入符号+%5E+符号用于检查匹配字符是否是输入字符串的第一个字符。如果我们使用正则表达式+%5Ea+(如果a是起始符号)匹配字符串+abc，它会匹配到+a。|7a7cf|但是如果我们使用正则表达式+%5Eb，它是匹配不到任何东西的，因为在字符串+abc+中+"b"+不是起始字符。|182pu|让我们来看另一个正则表达式+%5E(T%7Ct)he，这表示:+大写字母+T+或小写字母+t+是输入字符串的起始符号，后面跟着小写字母+h，后跟小写字母+e。|a9m9p|美元+$+符号用于检查匹配字符是否是输入字符串的最后一个字符。例如正则表达式+(at.)$，表示:+小写字母+a，后跟小写字母+t，后跟一个+.+字符，且这个匹配器必须是字符串的结尾。|6rhl3|正则表达式为常用的字符集和常用的正则表达式提供了简写。简写字符集如下:|5hug7|后行断言和先行断言有时候被称为断言，它们是特殊类型的非捕获组+(用于匹配模式，但不包括在匹配列表中)。当我们在一种特定模式之前或者之后有这种模式时，会优先使用断言。|8eb9v|例如，我们想获取输入字符串+$4.44+and+$10.88+中+$+字符之前的所有数字。我们可以使用这个正则表达式+(?<=\$)0-9.*，表示:+获取+$+字符之前的所有的数字包含+.+字符。|2ftvb|以下是正则表达式中使用的断言:|entityMap|data|mutability^0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@]|9|@]]|$1|C|3|4|5|D|7|X|8|@]|9|@]]|$1|E|3|4|5|F|7|Y|8|@]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@]|9|@]]|$1|K|3|4|5|L|7|11|8|@]|9|@]]|$1|M|3|4|5|N|7|12|8|@]|9|@]]|$1|O|3|4|5|P|7|13|8|@]|9|@]]|$1|Q|3|4|5|R|7|14|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

定位符

blocks|key|fgeto|type|unstyled|text|正向先行断言认为第一部分的表达式必须是先行断言表达式。返回的匹配结果仅包含与第一部分表达式匹配的文本。|depth|inlineStyleRanges|entityRanges|381nd|要在一个括号内定义一个正向先行断言，在括号中问号和等号是这样使用的+(?=...)。先行断言表达式写在括号中的等号后面。|9bl0u|例如，正则表达式+(T%7Ct)he(?=\sfat)，表示:+匹配大写字母+T+或小写字母+t，后面跟字母+h，后跟字母+e。|dddlm|在括号中，我们定义了正向先行断言，它会引导正则表达式引擎匹配+The+或+the+后面跟着+fat。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

正向先行断言

blocks|key|3in04|type|unstyled|text|当我们需要从输入字符串中获取不匹配表达式的内容时，使用负向先行断言。负向先行断言的定义跟我们定义的正向先行断言一样，|depth|inlineStyleRanges|entityRanges|1ulbc|唯一的区别是不是等号+=，我们使用否定符号+!，例如+(?!...)。|adlg|我们来看下面的正则表达式+(T%7Ct)he(?!\sfat)，表示:+从输入字符串中获取全部+The+或者+the+且不匹配+fat+前面加上一个空格字符。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

负向先行断言

blocks|key|9sb0r|type|unstyled|text|正向后行断言是用于获取在特定模式之前的所有匹配内容。正向后行断言表示为+(?<=...)。例如正则表达式+(?<=(T%7Ct)he\s)(fat%7Cmat)，表示:+从输入字符串中获取在单词+The+或+the+之后的所有+fat+和+mat+单词。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

正向后行断言

blocks|key|1nf4t|type|unstyled|text|负向后行断言是用于获取不在特定模式之前的所有匹配的内容。负向后行断言表示为+(?<!...)。例如正则表达式+(?<!(T%7Ct)he\s)(cat)，表示:+在输入字符中获取所有不在+The+或+the+之后的所有单词+cat。|depth|inlineStyleRanges|entityRanges|hsun|标记也称为修饰符，因为它会修改正则表达式的输出。这些标志可以以任意顺序或组合使用，并且是正则表达式的一部分。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

负向后行断言

blocks|key|66sfu|type|unstyled|text|i+修饰符用于执行不区分大小写匹配。例如正则表达式+/The/gi，表示:+大写字母+T，后跟小写字母+h，后跟字母+e。|depth|inlineStyleRanges|entityRanges|bhri5|但是在正则匹配结束时+i+标记会告诉正则表达式引擎忽略这种情况。正如您所看到的，我们还使用了+g+标记，因为我们要在整个输入字符串中搜索匹配。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

不区分大小写

blocks|key|5210j|type|unstyled|text|g+修饰符用于执行全局匹配+(会查找所有匹配，不会在查找到第一个匹配时就停止)。|depth|inlineStyleRanges|entityRanges|brvf8|例如正则表达式+/.(at)/g，表示:+除换行符之外的任意字符，后跟小写字母+a，后跟小写字母+t。|e2s64|因为我们在正则表达式的末尾使用了+g+标记，它会从整个输入字符串中找到每个匹配项。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

全局搜索

blocks|key|f6t4a|type|unstyled|text|m+修饰符被用来执行多行的匹配。正如我们前面讨论过的+(%5E,+$)，使用定位符来检查匹配字符是输入字符串开始或者结束。但是我们希望每一行都使用定位符，所以我们就使用+m+修饰符。|depth|inlineStyleRanges|entityRanges|f7jpo|例如正则表达式+/at(.)?$/gm，表示:+小写字母+a，后跟小写字母+t，匹配除了换行符以外任意字符零次或一次。而且因为+m+标记，现在正则表达式引擎匹配字符串中每一行的末尾。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

多行匹配

blocks|key|2r51|type|unstyled|text|不会，DTS+进行数据迁移时，其实是复制了源数据库的一份数据，并不会对源数据库的数据有任何影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|rjal|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|871s1|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bikdg|type|unstyled|text|因为迁移过程会有导入冷备阶段，我们会关闭+binlog+来提升写入性能，所以会有部分内容缺少，如果要实现内容不缺失，需要首先建立迁移，确保目标实例已经进入同步中后，然后再对目标实例设置订阅功能。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|b8shj|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

blocks|key|e72bt|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|35m1c|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|4vc91|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|7gnei|type|unstyled|text|因为我们的全量检测是需要对+session+进行+binlog+格式的设置，这个是需要+super+权限的，需要对迁移账号增加+super+权限授权。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6ngss|type|unstyled|text|TokuDB+有两种情况不支持转换到+InnoDB：源实例存在+TokuDB+压缩特性的表，或者存在+cluster+index+特性的表。n|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据传输服务

数据库

数据仓库

Kafka

云数据库

关系型数据库

NoSQL

数据挖掘

云迁移

数据一致性

数据流

服务器

本文目录
问题缘起
排查思路
问题发现
问题缘起
同事在客户现场利用DTS工具，从A实例将数据迁移到B实例过程中，发现几乎稍大点的表在迁移完成后，目标端表空间大小差不多都是源端的3倍，也就是说表空间膨胀了 排查思路
对这篇文章 《叶问》第16期 有印象的话，应该还能记得，数据迁移（导入导出）过程中，也包括主从复制场景，导致表空间膨胀的原因有几种：
MySQL表默认是InnoDB引擎且目前索引只支持B+树索引 主库整理过碎片（相当于重建整表），从库则是从原先的未整理的物理备份中恢复出来的。
两端表结构不一致，如从库可能比主库多索引。 两端表的行格式不一致，如主库为dynamic，从库为compressed。
两端字符集不同，例如源端是latin1，目标端是utf8mb4。 将读取出来的数据拼接成 INSERT...VALUES...ON DUPLICATE KEY UPDATE，因为DTS工具要支持增量迁移数据，所以才加上 ON DUPLICATE KEY UPDATE

同事在客户现场利用DTS工具，从A实例将数据迁移到B实例过程中，发现几乎稍大点的表在迁移完成后，目标端表空间大小差不多都是源端的3倍，也就是说表空间膨胀了2倍。

MySQL批量导入数据时，为何表空间膨胀了N倍

DBMo

tion
全·新·上·线
免费、零停机、高性能的数据库迁移服务DBMotion今天正式对外发布，支持MySQL的结构、全量、增量迁移和数据校验功能。 端到端加密，支持SSL连接
WITH CONSISTENT SNAPSHOT事务引擎数据拷贝，尽量降低对源库锁的粒度
叁
DBMotion
三大迁移场景全覆盖
DBMotion目前支持以下主要场景的数据库迁移 二、查看任务详情 这个阶段可以查看任务在各个阶段执行的具体情况，并且支持动态校验源端和目标端的数据是否一致

线下自建MySQL迁移上Squids
线下自建MySQL迁移上Squids相对云上ECS迁移最主要的区别在于 ，线下的自建MySQL没有公有IP，需要利用dbmotion_tool来将线下数据库映射到公网上来。 访问
https://github.com/squids-io/dts-doc/blob/master/dbmotion_tool
下载dbmoiton_tool免费使用
后续mongodb的迁移支持正在紧张研发中

Squids DBMotion数据库迁移服务上线｜助力云端数据畅游无阻！

免费、零停机、高性能的数据库迁移服务DBMotion今天正式对外发布，支持MySQL的结构、全量、增量迁移和数据校验功能。

Squids DBMotion数据库迁移服务上线｜助力云端数据畅游无阻！

03
DBMotion功能及优势
►中立，安全
不限云上云下，不限云厂商


中立，独立的第三方DTS在线服务


全链路SSL连接，端到端加密
►简单易用
可视化操作，输入源端和目标端，点点鼠标就可以实现迁移 模式增量保证实时同步
►一致性可靠
dbHash的MongoDB原生校验，确认源库和目标库的数据一致性
04
迁移场景全覆盖
DBMotion目前除了MySQL以外还支持以下MongoDB主要场景的数据库迁移 、迁移选项配置、配置确认
1.源库目标库配置阶段 如果源端或者目标端支持SSL，可以使用SSL进行加密传输

2.迁移选项配置阶段，选择需要迁移的数据库和迁移类型。 二、查看任务详情 这个阶段可以查看任务在各个阶段执行的具体情况，并且支持校验源端和目标端的数据是否一致

线下自建MongoDB迁移上云
线下自建MongoDB迁移上Squids相对多云间迁移最主要的区别在于 ，线下的自建MongoDB没有公有IP，需要利用dbmotion_tool来将线下数据库映射到公网上来。

Squids DBMotion，新增MongoDB数据迁移的支持，为用户提供零停机、高性能的在线数据迁移、校验服务。

MongoDB，请在云间自由行走

都是多节点的数据库，就可以在腾讯云的控制台进行互相转换：
同理，三节点也可以回退到双节点:
至于单节点和多节点的数据库互相转换，可以使用 DTS 数据传输服务间接实现。 DTS 迁移
腾讯云的控制台，提供了数据传输服务，之前我们都是用来迁移其他 DBaaS 服务的数据到腾讯云的，今天，我们也可以用它来迁移单节点的数据库到多节点的数据库: 数据传输服务 - 数据迁移
DTS 腾讯云目前正在售卖的云数据库，DTS 都是支持的，那么两个腾讯云的 MySQL 数据库，即使是架构不一样，同样可以使用 DTS 完成数据同步和迁移，甚至还可以走内网直连的模式，进一步加快迁移速度。 当然，强烈建议大家验证数据是否迁移成功，查看数据是否一致。
Q&A
如果是双节点升级三节点，那么费用如何计算？ 已经迁移的数据，不会丢失。
END
总的来说，DTS 数据传输服务，还是非常好用的，可以用来迁移数据，也可以用来转换数据库架构。相比起自己自建数据库，云数据库的操作都是比较简单的。

使用 DTS 实现腾讯云数据库 MySQL 多节点和单节点互相转换

之前在腾讯云上购买了 MySQL 的 DBaaS 服务，发现单节点和多节点之间是无法转换的。但是可以使用 DTS 来间接实现单节点和多节点的互相转换。

使用 DTS 实现腾讯云数据库 MySQL 多节点和单节点互相转换

唐老师：是的，我可以举一个例子，DaaS(Data as a Service) ，比如一个零售体，现在经营都是以数据为导向的，比如我的财务，库存，销售，会员，线上系统，线下门店，这些都是数据的产生者，也都是数据的消费者 实际上我们将产品和客户进行了细分，TapCloud主打的是短平快的数据迁移市场，且我们比DTS 阿里云的那个云服务，在云上更有产品竞争力。 ETL&cdc软件并不支持，如DB2 这样的数据库产品，支持的系统本身就种类繁多，如AS400，LINUX，客户的系统不同，需要在不同的项目中给与支持，我们在不断的引入海外项目后，发现我们支持的数据库种类和对应数据库的操作系统越来越丰富 2 数据的传输量大，且传输时间长，DTS服务中的产品规格并不能满足客户的实际需求
3 数据库种类的丰富度，TapData是一个中立的ETL&cdc软件，相对阿里云的DTS，在支持国产数据库的种类和中立性方面 4 还有一个关键的问题，我相信您作为阿里云忠实的客户，应该知道，DTS本身的一些问题，如不能及时处理一些单库表太多的情况，您是否遇到过呢？

让数据先“活”起来，如何实现数据在企业中的最大价值

📷数据是一种宝贵的资源，知道数据十分宝贵的人很多但如何运用数据让其发生效用的人并不多，今天借着机会，和唐建法老师请教关于数据如何发生效用的事情，让数据也能为企业带来效益，同时作为一个数据库架构师、DBA，我也想听到更新、更有价值的知识，数据到底是什么、Data as service 数据即服务 、数据流转的最终目的是什么，我想寻求真实的答案。

DTS 是否支持两端都是线下库的迁移？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐