blocks|key|5h53s|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

如果迁移的源实例里面有 Toku 引擎，迁移会有什么需要注意的？

entityMap|0|type|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/59387|1|https://cloud.tencent.com/document/product/571/59386|2|https://cloud.tencent.com/document/product/571/59388|blocks|key|2fpkh|text|数据传输服务的产品功能有哪些？|header-one|depth|inlineStyleRanges|entityRanges|af10j|数据迁移+|header-two|offset|length|style|BOLD|aaqk1|数据迁移功能指不同数据源之间的数据复制，腾讯云+DTS+支持数据库不停机迁移，最小化迁移过程引起的数据库宕机对业务造成的影响。数据迁移功能适用于数据上云迁移、腾讯云内部跨实例数据迁移、第三方厂商迁移至腾讯云等业务场景。|unstyled|bk6i8|数据同步+|fg9ic|数据同步功能指两个数据源之间的数据实时同步，可应用于云上云下多活、异地多活、跨境数据同步，及实时数据仓库等业务场景。|70b6b|数据同步不同于数据迁移，数据迁移是以整体数据库搬迁为目的，它属于一次性的短期任务，而数据同步属于持续性任务，任务创建后会一直同步数据，保持源库和目标库的数据一致性。|5cvke|数据订阅+|7510e|数据订阅是指获取数据库中关键业务的数据变化信息，将这些信息包装为消息对象推送到+Kafka+中，方便下游业务订阅、获取和消费。腾讯云+DTS+支持通过+Kafka+Client+直接消费数据，方便用户搭建云数据库和异构系统之间的数据同步，如缓存更新，ETL（数据仓库技术）实时同步，业务异步解耦等。|52vqt|数据传输服务+DTS+支持关系型数据库+RDBMS、非关系型数据库+NoSQL+数据源间的数据传输。它提供了数据迁移、实时数据订阅以及实时数据同步等多种数据传输方式。相对于第三方数据流工具，数据传输服务+DTS+提供更丰富多样、高性能、高安全可靠的传输链路，同时提供了诸多便利功能，极大地方便了传输链路的创建及管理。|fuvi8|数据传输服务的产品优势是什么？|empak|数据同步|fj1nu|数据传输服务帮助您将数据库迁移至+TencentDB，且几乎不需要停机拷贝。源数据库在迁移期间发生的所有数据更改都会复制到目标数据库，因此迁移期间不影响源数据库对外提供服务。在数据复制完成后，源数据库和目标数据库将保持继续同步，您可自由选择业务切换时间。|1l00o|高传输性能|acbm4|数据传输服务使用高规格服务器来保证每条迁移同步链路都能拥有良好的传输性能。在数据迁移方面，数据传输服务底层采取了多种性能优化措施；相对于传统的数据迁移工具，极大提升了传输性能。|esr10|故障自动恢复|f201o|数据传输服务具有极高的可用性，每个节点均具备高度的恢复和自愈能力，故障秒级恢复。DTS+的高可靠性让您可以放心将数据迁移上云，无需担心迁移数据的一致性问题。|1ee33|可视化操作|3bn8k|数据传输服务无需单独安装驱动程序或应用程序，无需对源数据库做大幅改动，只需在腾讯云提供的可视化管理界面进行简单配置即可开启数据传输。|au89h|设置简单快速|6t9sm|在腾讯云数据传输服务管理控制台中，只需花费几分钟就能设置一个迁移任务。您可以在迁移任务中定义用来执行迁移的各项参数，其中包括设置源数据库和目标数据库的连接，以及迁移类型和对象。|d5n48^0|0|0|4|0|4|0|0|0|0|4|0|4|1|0|0|0|0|4|0|4|2|0|0|0|0|0|0|0|0|0|0|0|0|0|0^^$0|$1|$2|3|4|5|6|$7|8]]|9|$2|3|4|5|6|$7|A]]|B|$2|3|4|5|6|$7|C]]]|D|@$E|F|G|H|2|I|J|1V|K|@]|L|@]|6|$]]|$E|M|G|N|2|O|J|1W|K|@$P|1X|Q|1Y|R|S]]|L|@$P|1Z|Q|20|E|21]]|6|$]]|$E|T|G|U|2|V|J|22|K|@]|L|@]|6|$]]|$E|W|G|X|2|O|J|23|K|@$P|24|Q|25|R|S]]|L|@$P|26|Q|27|E|28]]|6|$]]|$E|Y|G|Z|2|V|J|29|K|@]|L|@]|6|$]]|$E|10|G|11|2|V|J|2A|K|@]|L|@]|6|$]]|$E|12|G|13|2|O|J|2B|K|@$P|2C|Q|2D|R|S]]|L|@$P|2E|Q|2F|E|2G]]|6|$]]|$E|14|G|15|2|V|J|2H|K|@]|L|@]|6|$]]|$E|16|G|17|2|V|J|2I|K|@]|L|@]|6|$]]|$E|18|G|19|2|I|J|2J|K|@]|L|@]|6|$]]|$E|1A|G|1B|2|O|J|2K|K|@]|L|@]|6|$]]|$E|1C|G|1D|2|V|J|2L|K|@]|L|@]|6|$]]|$E|1E|G|1F|2|O|J|2M|K|@]|L|@]|6|$]]|$E|1G|G|1H|2|V|J|2N|K|@]|L|@]|6|$]]|$E|1I|G|1J|2|O|J|2O|K|@]|L|@]|6|$]]|$E|1K|G|1L|2|V|J|2P|K|@]|L|@]|6|$]]|$E|1M|G|1N|2|O|J|2Q|K|@]|L|@]|6|$]]|$E|1O|G|1P|2|V|J|2R|K|@]|L|@]|6|$]]|$E|1Q|G|1R|2|O|J|2S|K|@]|L|@]|6|$]]|$E|1S|G|1T|2|V|J|2T|K|@]|L|@]|6|$]]|$E|1U|G|-4|2|V|J|2U|K|@]|L|@]|6|$]]]]

数据订阅正则表达式

[Kafka 使用何种认证机制？](id:faq3)

服务端消息保留多久，如何设置消费 offset？

数据订阅 Kafka 版

数据同步对目标库有啥影响，是否要求目标库为空？

支持将高版本实例的数据同步到低版本的实例吗？

在双向同步拓扑中，是否可以对 DDL 进行双向同步？

同步任务启动后，是否支持增加或删除库表对象？

数据同步

数据迁移、同步、订阅如何收费的？

购买包年包月实例时，需要主账号支付，子账号不能购买？

购买及付费

使用 DTS 进行数据迁移，目标库是否需要为空？

数据迁移过程中源库是否支持写入？

数据迁移过程中目标库是否支持写入？

DTS 是否支持两端都是线下库的迁移？

DTS 是否支持两个不同腾讯云账号下的 TencentDB 实例之间的数据迁移？

DTS 是否支持同一个数据库实例内不同库表的迁移？

同一个源端数据库是否支持配置多个 DTS 任务，往不同的云数据库实例上迁移？

迁移过程中可以监控任务的进度吗？

为什么数据增量迁移服务会有15天设置?

在迁移数据过程中，如何保障数据准确性？

数据校验为什么需要源数据库实例不为只读？

DTS 数据迁移能指定库表进行迁移么？

为什么全量迁移前后数据的大小不一致？

DTS 数据传输服务，是否支持跨国数据库迁移？

DTS 迁移过程中任务异常中断，是否可以重新启动？

对源库设置 binlog_format 为 row 之后，如何确保源库 binlog_format 格式立刻生效？

MySQL 数据迁移可以迁移用户权限吗？

数据迁移

常见问题（NewDTS）

使用 DTS 进行数据迁移，源数据库的数据会不会在迁移后被删除掉？

为何开启了订阅的目标实例进行迁移会有内容缺少？

为何迁移时候选了全量检测会报缺少 super 权限的错误？

TokuDB 表在 DTS 迁移校验时校验出错可能是什么原因？

数据订阅支持多个 SDK 同时连接消费同一个通道吗？

数据订阅支持一个 SDK 同时连接多个通道吗？

SDK 启动报错，错误为：already has sdk on this channel，是什么原因？

数据订阅订阅实时增量数据时，新增的数据是指新增数据，还是包含修改的数据？

TencentDB 实例和本地数据库的表结构相同，但是索引不同，可以使用数据订阅功能进行实时同步吗？

数据订阅通道无法修改消费位点，原因是什么？

如何确认数据是否正常消费呢？

数据订阅如果消费端有一条记录没有 ACK，SDK 重启后为什么会收到重复数据呢？

如果 SDK 退出后，过几天重启运行，不能成功订阅数据？错误为：Maybe checkpint is too old？

SDK 正常拉数据过程中，突然卡住不能订阅到数据，但重启之后又可以消费到一部分，之后又卡住，是什么原因呢？

如何保证 SDK 订阅到的数据是一个完整的事务，根据提供的消费位点会拉取到事务中间的 record 吗？

数据订阅在 TencentDB 主备切换/主库重启时是否会发生问题？是否可能出现丢数据的情况？

SDK 启动时，报错：Do DTS authentication fail, caused by: get channel info from msg failed. 是什么原因？

SDK 启动时，报 secretId 没有权限？

数据订阅可能会收到重复数据吗？

一个数据订阅实例，可以订阅多个 TencentDB 实例吗？

如果 SDK 在运行的过程中发生 OOM 怎么办？

数据订阅

常见问题（旧版）

blocks|key|e93em|type|unstyled|text|数据迁移到目标库时，可以选择整个实例迁移，也可以选择指定对象迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1s88|type|unstyled|text|支持，迁移过程中源库可以正常进行数据写入，但在结构迁移、全量迁移阶段不能对源库进行+DDL+操作，否则可能会导致任务失败。等到增量迁移阶段，DDL+和+DML+都可以正常操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8ld64|type|unstyled|text|目标库不需要设置为只读，但是建议不要对目标库进行写入，如果在迁移过程中，用户同时向目标库写入，可能会导致最终源和目标的数据不一致。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|d0vlp|type|unstyled|text|不支持，源端或者目标端必须有一个是腾讯云数据库。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cnsuf|type|unstyled|text|支持，进行跨腾讯云账号下+TencentDB+实例间的迁移，需要以目标+TencentDB+实例所属的腾讯云账号登录+DTS。具体操作请参见+云数据库跨账号实例间迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/54117^0|0|1Z|C^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cq4pp|type|unstyled|text|不支持，DTS+仅支持源库和目标库为不同的数据库实例之间的数据迁移，不支持源库和目标库为同一个数据库实例（同一个数据库实例内不同库表对象的迁移）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8sujg|type|unstyled|text|支持，支持同一个源端迁移到多个目标端（任务可并行处理），也支持多个源端迁移到同一个目标端（需要等前一个任务进行到增量阶段才可发起新一个任务）。需要注意多个任务并行，可能会增加源端或者目标端的访问压力，影响迁移速率。如果您确定需要对同一个源端数据库创建多个任务，可以在创建第一个迁移任务后，通过操作列更多+>+创建类似任务，快捷创建相同的任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3biup|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

DTS 是否支持定时自动迁移？

blocks|key|bv7tm|type|unstyled|text|可以，您可以在腾讯云+DTS+控制台+数据迁移页面查看迁移任务进度。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dtsnew/migrate/page^0|0|B|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2hptb|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6a0d7|type|unstyled|text|DTS+内部采用腾讯云自研数据迁移架构，对传输链路进行实时的数据准确性校验，快速发现并纠正传输数据，保障传输数据可靠性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ernp6|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

blocks|key|63mht|type|unstyled|text|可以，迁移对象可以选择整个实例，也可以选择指定库表对象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|hclp|type|unstyled|text|用户选择增量迁移时，任务长时间没有结束，有可能需要用户自己进行结束操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据迁移什么时候结束？

blocks|key|6fs70|type|unstyled|text|因为源库和目标库的碎片空间不一样，源库可能存在一些空洞数据，因此全量迁移完成后目标库的表存储空间很可能会比源库的表存储空间小。建议用户迁移完成后使用+数据一致性校验+来核对源库和目标库内容是否一致。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/62564^0|0|23|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|9tbtd|type|unstyled|text|支持，接入方式选择公网可以实现跨国数据传输。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|dhdka|type|unstyled|text|可以，用户在配置任务时，可以设置自动重试策略，在任务发生异常中断（如源库或者目标库短暂不可用，网络问题等），DTS+支持在设置的时间范围内进行自动重试，无需手动干预。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cddgb|type|unstyled|text|MySQL+迁移过程中的加锁，指的是对源数据库加全局锁（FTWRL），选择全量数据迁移的场景中，才会涉及到加锁处理。|depth|inlineStyleRanges|entityRanges|ao9f7|当前+DTS+在+MySQL/MariaDB//Percona/TDSQL-C+MySQL/TDSQL+MySQL/TDSQL+TDStore+之间的数据迁移中，默认使用无锁迁移。无锁迁移指对源库不加全局锁（FTWRL），仅对无主键的表加表锁。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

MySQL 迁移过程中是否会加锁？

blocks|key|2eoo2|type|unstyled|text|支持，但是建议用户选择有主键校验的表，无主键的表也可以发起任务，但是会造成以下影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持迁移无主键的表？

blocks|key|fn8ov|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|apkh8|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|4saed|type|unstyled|text|支持，新版本+DTS+支持对用户的权限进行迁移，具体操作请参考+账号迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/65702^0|0|W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cds29|type|unstyled|text|收费链路和具体收费标准请参见+计费概述。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/18736^0|0|F|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2fmnr|type|unstyled|text|退费仅对以包年包月形式购买的实例，以按量计费形式购买的实例，因为本身是后付费形式，无法申请退款。对包年包月实例进行退费时，每个主体默认享有1次5天内无理由全额退款，其余退款申请按照非全额退款处理。具体请参见+退费说明。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/40536^0|0|2W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

支持退费吗？

blocks|key|orsd|type|unstyled|text|子用户一般没有支付+DTS+包年包月实例的权限，在提交订单时出现如下提示，需要主账号来支付订单。n|depth|inlineStyleRanges|entityRanges|cn5bh|请参考+授权子用户财务权限，授权子用户支付包年包月实例的权限。|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/74020^0|0|0|4|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]]|$1|A|3|4|5|B|7|N|8|@]|9|@$1|O|C|P|D|Q]]]]|E|$F|$3|G|H|I|J|$K|L]]]]

blocks|key|89bgp|type|unstyled|text|使用+DTS+进行数据同步对目标库没有影响，不需要目标库为空。DTS+支持检测源库和目标库是否有同名对象，并支持在发生同名对象冲突时按照设置的策略进行处理，将任务报错提醒用户，或者忽略报错继续任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5jsc9|type|unstyled|text|不支持。同一个类型的数据库，目标实例的大版本必须不小于源实例。以+MySQL+实例为例，不支持+MySQL+5.7+的实例同步到+MySQL+5.6。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|b0bsq|type|unstyled|text|可以。可以将云上的数据库同步到云下，接入方式支持公网、云联网等。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

源/目标能否为云下实例？

blocks|key|85njv|type|unstyled|text|不可以。创建同步实例时，只能允许其中一个实例进行+DDL+同步，否则检测算法检测到+DDL+循环，会禁止其中一个实例的创建。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1e3aa|type|unstyled|text|当前技术方案采用在事务中打上路由信息来标记事务的来源，依赖于事务的原子性。基于非事务引擎的库表，会破坏了事务的原子性，无法保证数据一致，不建议用户使用。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持非事务引擎？

blocks|key|5bs3b|type|unstyled|text|支持。选择需要修改的同步任务，通过操作+>+修改同步配置，可以修改同步任务配置。|depth|inlineStyleRanges|entityRanges|9vdq7|可支持增加/删除同步对象、修改主键冲突策略、SQL+同步策略等。修改同步配置时，已有的同步任务不会暂停，也不会受影响。更多详情请参考+。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|1fk6v|type|unordered-list-item|text|排查网络问题，Kafka+服务器地址为腾讯云内网地址，只能在腾讯云与订阅实例相同地域的私有网络内访问。|depth|inlineStyleRanges|entityRanges|5igq1|排查订阅+topic、内网地址、消费组名称、帐号、密码等是否正确。可在+数据订阅控制台+单击订阅名进入订阅详情页和消费管理页查看。|offset|length|66uf4|排查加密参数是否正确，参见+Kafka+使用何种认证机制。|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dts/dss|1|https://cloud.tencent.com/document/product/571/53454#faq3^0|0|0|10|7|0|1|E|E^^$0|@$1|2|3|4|5|6|7|Q|8|@]|9|@]]|$1|A|3|4|5|B|7|R|8|@]|9|@$1|S|C|T|D|U]]]|$1|E|3|4|5|F|7|V|8|@]|9|@$1|W|C|X|D|Y]]]]|G|$H|$3|I|J|K|L|$M|N]]|O|$3|I|J|K|L|$M|P]]]]

为什么我消费不到数据？

blocks|key|bmucr|type|unstyled|text|数据订阅+Kafka+版使用+Protobuf+进行序列化。Protobuf+协议文件可在+此处+下载，Demo+工程中也包含了协议文件，具体请参考+生产和消费逻辑讲解。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://subscribesdk-1254408587.cos.ap-beijing.myqcloud.com/subscribe.proto|1|https://cloud.tencent.com/document/product/571/52381#dgxljjj^0|0|1A|2|1|23|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@$1|N|A|O|B|P]|$1|Q|A|R|B|S]]]]|C|$D|$3|E|F|G|H|$I|J]]|K|$3|E|F|G|H|$I|L]]]]

数据格式是怎么样的?

blocks|key|468g3|type|unstyled|text|如下所示：|depth|inlineStyleRanges|entityRanges|5cp6l|atomic|[83aa8f6122ee106f57568b6f25a1bd08.png]|offset|length|entityMap|0|IMAGE|mutability|IMMUTABLE|data|imageUrl|https://main.qcloudimg.com/raw/83aa8f6122ee106f57568b6f25a1bd08.png|name^0|0|0|0|12^^$0|@$1|2|3|4|5|6|7|O|8|@]|9|@]]|$1|A|3|B|5|C|7|P|8|@]|9|@$1|Q|D|R|E|S]]]]|F|$G|$3|H|I|J|K|$L|M|N|-3]]]]

blocks|key|3qpqg|type|unstyled|text|首先请将+Kafka+的+enable_auto_commit+参数设置为+false，以关闭自动+commit。生产者会在消息序列中的合适位置插入+Checkpoint+消息，消费者消费到+Checkpoint+消息后进行+commit，这样有利于保证消息的完整性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

何时进行 Kafka commit?

blocks|key|98g27|type|unstyled|text|服务端消息保留1天。可以根据需要配置+Kafka+的+auto_offset_reset+参数为+earliest+或者+latest。如果需要从具体的+offset+开始消费，则可以利用+Kafka+Client+提供的+seek+功能，重新设置消费+offset。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|f3h17|type|unstyled|text|不支持，同一个通道最多只能有一个+SDK+连接并消费数据，如果用户有多个下游需要订阅同一个库表，可以通过建立多个通道来解决。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|be2v7|type|unstyled|text|支持，一个+SDK+可以同时消费多个通道。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8b8k1|type|unstyled|text|一个通道只能有一个+SDK+连接消费，如果新增连接，就会报这个错误。这时需确认程序是否完全退出，若确认完之后重连还是报同样的错误，可以将重启时间的间隔稍微加长一点，例如：20秒。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ff9li|type|unstyled|text|数据订阅可以订阅的增量数据包括：所有的增删改（+DML+）以及结构变更（+DDL+）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1se3a|type|unstyled|text|可以，如果数据订阅只订阅数据变更，那么两边索引不同不会影响。如果订阅了结构变更，而且+TencentDB+实例上涉及到索引变更的话，可能会由于两边索引不同，导致结构变更在本地消费失败。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|e4348|type|unstyled|text|修改位点报错时，界面上有相应的提示。一般是由于订阅通道还有下游在消费，可以先到+DTS+控制台查看消费来源+IP，查看是否还有下游+SDK+在消费数据，如果有，那么需要先停止下游消费后，重新修改消费位点。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1qd81|type|unstyled|text|在有数据写入的情况（+或者还有数据没有消费完+），如果数据正常消费，那么控制台上的消费位点就会正常迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|636bj|type|unstyled|text|当+SDK+有+message+没有+ACK+时，SDK+会持续拉取消息直到+SDK+内的缓存塞满，SDK+不再获取新消息。此时，服务端保存的消费位点为未+ACK+之前的最后一条+message+的位点。|depth|inlineStyleRanges|entityRanges|7hvam|当+SDK+重启时，为了保证消息不丢，服务端会从未+ACK+前一条+message+对应的位点开始重新推送数据，所以+SDK+此时会重复收取一部分消息。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|7kgbq|type|unstyled|text|数据订阅通道中保留数据的时间范围为1天，从当前时间-1天，当天时间，订阅通道会删除过期数据。所以如果上次+SDK+退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道有效数据范围内，那么就不能订阅到这个消费位点对应的数据。为修复这个问题，在启动+SDK+之前，需要先修改消费位点，确保消费位点在有效数据范围内。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5efv8|type|unstyled|text|这种情况，比较大可能是+SDK+代码中没有调用+ackAsConsumed+接口汇报消费位点导致的。由于+SDK+内部设置了有限缓存空间，如果不调用+ackAsConsumed+汇报位点，那么这缓存空间数据就不会删除，当缓存满时，就不能拉取新的数据，就会出现+SDK+卡住不能订阅数据现象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|2jeu|type|unstyled|text|不会，根据用户指定的消费位点或者上次确认消费的位点，服务端会搜索这个消费位点对应的完整事务的起始位置，从整个事务头部的开始，向下游+SDK+传输数据，所以可以保证接收到完整的事务内容。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|co62b|type|unstyled|text|不会有问题，TencentDB+实例发生主备切换/重启时，数据订阅会自动切换，这个过程对+SDK+来说是透明的。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1r9qb|type|unstyled|text|需要确认输入的参数是否匹配，ip、+port、+secretId、+secretKey、+channelId+是否匹配。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|fr96q|type|unstyled|text|子账号默认没有任何权限，需要根账号给子账号赋予+name/dts:AuthenticateSubscribeSDK+操作的权限，或者赋予+DTS+所有操作的权限+QcloudDTSFullAccess。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|97ur9|type|unstyled|text|在正常消费情况下，不会。如果+SDK+非正常退出，最后确认的位点信息没有及时上报，下次启动可能会收到重复数据，这种情况概率极小。|depth|inlineStyleRanges|entityRanges|1piru|如果没有确认完一个完整的事务，那么下次启动会从这个事务的头部开始重新拉取，这种情况下，不能看作重复数据。+SDK+的核心逻辑会保证事务的完整性。+|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|3752t|type|unstyled|text|不可以，目前一个数据订阅实例只能订阅一个+TencentDB+实例。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bfnk7|type|unstyled|text|选一个配置更好一点的宿主机，单个+SDK+在高速平稳运行时，消耗+CPU+资源小于1核，内存占用小于1.5GB。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3nnsb|type|unstyled|text|英文句号+.+是元字符的最简单的例子。元字符+.+可以匹配任意单个字符。它不会匹配换行符和新行的字符。例如正则表达式+.ar，表示:+任意字符后面跟着一个字母+a，再后面跟着一个字母+r。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

英文句号

blocks|key|fgj54|type|unstyled|text|字符集也称为字符类。方括号被用于指定字符集。使用字符集内的连字符来指定字符范围。方括号内的字符范围的顺序并不重要。|depth|inlineStyleRanges|entityRanges|3f6r7|例如正则表达式+Tthe，表示:+大写+T+或小写+t+，后跟字母+h，再后跟字母+e。|40b6v|然而，字符集中的英文句号表示它字面的含义。正则表达式+ar.，表示小写字母+a，后面跟着一个字母+r，再后面跟着一个英文句号+.+字符。|c0ec5|一般来说插入字符+%5E+表示一个字符串的开始，但是当它在方括号内出现时，它会取消字符集。例如正则表达式+%5Ecar，表示:+除了字母+c+以外的任意字符，后面跟着字符+a，再后面跟着一个字母+r。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

字符集

blocks|key|1ek5|type|unstyled|text|以下元字符+%2B，*+或+?+用于指定子模式可以出现多少次。这些元字符在不同情况下的作用不同。|depth|inlineStyleRanges|entityRanges|f1it2|该符号++表示匹配上一个匹配规则的零次或多次。正则表达式+a+表示小写字母+a+可以重复零次或者多次。但是它如果出现在字符集或者字符类之后，它表示整个字符集的重复。|offset|length|style|ITALIC|4p47f|例如正则表达式+a-z*，表示：一行中可以包含任意数量的小写字母。|sfrl|该++符号可以与元符号+.+用在一起，用来匹配任意字符串+.。该+*+符号可以与空格符+\s+一起使用，用来匹配一串空格字符。|b99mh|例如正则表达式+\scat\s，表示：零个或多个空格，后面跟小写字母+c，再后面跟小写字母+a，再往后面跟小写字母+t，后面再跟零个或多个空格。|42gl|该符号+%2B+匹配上一个字符的一次或多次。例如正则表达式+c.%2Bt，表示：一个小写字母+c，后跟任意数量的字符，后跟小写字母+t。|6bvl9|在正则表达式中，元字符+?+用来表示前一个字符是可选的。该符号匹配前一个字符的零次或一次。|8k2ed|例如正则表达式+T?he，表示：可选的大写字母+T，后面跟小写字母+h，后跟小写字母+e。|entityMap|data|mutability^0|0|4|Q|0|0|2|S|0|A|5|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@$C|X|D|Y|E|F]]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@$C|11|D|12|E|F]]|9|@]]|$1|K|3|4|5|L|7|13|8|@$C|14|D|15|E|F]]|9|@]]|$1|M|3|4|5|N|7|16|8|@]|9|@]]|$1|O|3|4|5|P|7|17|8|@]|9|@]]|$1|Q|3|4|5|R|7|18|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

重复

blocks|key|2nhdn|type|unstyled|text|在正则表达式中花括号（也被称为量词）用于指定字符或一组字符可以重复的次数。例如正则表达式+0-9{2,3}，表示:+匹配至少2位数字但不超过3位(0到9范围内的字符)。|depth|inlineStyleRanges|entityRanges|gc6l|我们可以省略第二个数字。例如正则表达式+0-9{2,}，表示:+匹配2个或更多个数字。如果我们也删除逗号，则正则表达式+0-9{2}，表示:+匹配正好为2位数的数字。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

花括号

blocks|key|6499q|type|unstyled|text|字符组是一组写在圆括号内的子模式+(...)。正如我们在正则表达式中讨论的那样，如果我们把一个量词放在一个字符之后，它会重复前一个字符。|depth|inlineStyleRanges|entityRanges|c577r|但是，如果我们把量词放在一个字符组之后，它会重复整个字符组。|hcq9|例如正则表达式+(ab)*+表示匹配零个或多个的字符串+"ab"。我们还可以在字符组中使用元字符+%7C。例如正则表达式+(c%7Cg%7Cp)ar，表示:+小写字母+c、g+或+p+后面跟字母+a，后跟字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

字符组

blocks|key|f7a22|type|unstyled|text|在正则表达式中垂直条+%7C+用来定义分支结构，分支结构就像多个表达式之间的条件。现在您可能认为这个字符集和分支机构的工作方式一样。|depth|inlineStyleRanges|entityRanges|1htcn|但是字符集和分支结构巨大的区别是字符集只在字符级别上有作用，然而分支结构在表达式级别上依然可以使用。|fop1|例如正则表达式+(T%7Ct)he%7Ccar，表示:+大写字母+T+或小写字母+t，后面跟小写字母+h，后跟小写字母+e+或小写字母+c，后跟小写字母+a，后跟小写字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

分支结构

blocks|key|750fi|type|unstyled|text|正则表达式中使用反斜杠+\+来转义下一个字符。这将允许您使用保留字符来作为匹配字符+{+}+++/+\+%2B+*+.+$+%5E+%7C+?。在特殊字符前面加+\，就可以使用它来做匹配字符。|depth|inlineStyleRanges|entityRanges|3egr8|例如正则表达式+.+是用来匹配除了换行符以外的任意字符。现在要在输入字符串中匹配+.+字符，正则表达式+(f%7Cc%7Cm)at.?，表示:+小写字母+f、c+或者+m+后跟小写字母+a，后跟小写字母+t，后跟可选的+.+字符。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

转义特殊字符

blocks|key|crt65|type|unstyled|text|在正则表达式中，为了检查匹配符号是否是起始符号或结尾符号，我们使用定位符。|depth|inlineStyleRanges|entityRanges|f5ldi|定位符有两种类型:+第一种类型是+%5E+检查匹配字符是否是起始字符，第二种类型是+$，它检查匹配字符是否是输入字符串的最后一个字符。|6493a|插入符号+%5E+符号用于检查匹配字符是否是输入字符串的第一个字符。如果我们使用正则表达式+%5Ea+(如果a是起始符号)匹配字符串+abc，它会匹配到+a。|7a7cf|但是如果我们使用正则表达式+%5Eb，它是匹配不到任何东西的，因为在字符串+abc+中+"b"+不是起始字符。|182pu|让我们来看另一个正则表达式+%5E(T%7Ct)he，这表示:+大写字母+T+或小写字母+t+是输入字符串的起始符号，后面跟着小写字母+h，后跟小写字母+e。|a9m9p|美元+$+符号用于检查匹配字符是否是输入字符串的最后一个字符。例如正则表达式+(at.)$，表示:+小写字母+a，后跟小写字母+t，后跟一个+.+字符，且这个匹配器必须是字符串的结尾。|6rhl3|正则表达式为常用的字符集和常用的正则表达式提供了简写。简写字符集如下:|5hug7|后行断言和先行断言有时候被称为断言，它们是特殊类型的非捕获组+(用于匹配模式，但不包括在匹配列表中)。当我们在一种特定模式之前或者之后有这种模式时，会优先使用断言。|8eb9v|例如，我们想获取输入字符串+$4.44+and+$10.88+中+$+字符之前的所有数字。我们可以使用这个正则表达式+(?<=\$)0-9.*，表示:+获取+$+字符之前的所有的数字包含+.+字符。|2ftvb|以下是正则表达式中使用的断言:|entityMap|data|mutability^0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@]|9|@]]|$1|C|3|4|5|D|7|X|8|@]|9|@]]|$1|E|3|4|5|F|7|Y|8|@]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@]|9|@]]|$1|K|3|4|5|L|7|11|8|@]|9|@]]|$1|M|3|4|5|N|7|12|8|@]|9|@]]|$1|O|3|4|5|P|7|13|8|@]|9|@]]|$1|Q|3|4|5|R|7|14|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

定位符

blocks|key|fgeto|type|unstyled|text|正向先行断言认为第一部分的表达式必须是先行断言表达式。返回的匹配结果仅包含与第一部分表达式匹配的文本。|depth|inlineStyleRanges|entityRanges|381nd|要在一个括号内定义一个正向先行断言，在括号中问号和等号是这样使用的+(?=...)。先行断言表达式写在括号中的等号后面。|9bl0u|例如，正则表达式+(T%7Ct)he(?=\sfat)，表示:+匹配大写字母+T+或小写字母+t，后面跟字母+h，后跟字母+e。|dddlm|在括号中，我们定义了正向先行断言，它会引导正则表达式引擎匹配+The+或+the+后面跟着+fat。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

正向先行断言

blocks|key|3in04|type|unstyled|text|当我们需要从输入字符串中获取不匹配表达式的内容时，使用负向先行断言。负向先行断言的定义跟我们定义的正向先行断言一样，|depth|inlineStyleRanges|entityRanges|1ulbc|唯一的区别是不是等号+=，我们使用否定符号+!，例如+(?!...)。|adlg|我们来看下面的正则表达式+(T%7Ct)he(?!\sfat)，表示:+从输入字符串中获取全部+The+或者+the+且不匹配+fat+前面加上一个空格字符。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

负向先行断言

blocks|key|9sb0r|type|unstyled|text|正向后行断言是用于获取在特定模式之前的所有匹配内容。正向后行断言表示为+(?<=...)。例如正则表达式+(?<=(T%7Ct)he\s)(fat%7Cmat)，表示:+从输入字符串中获取在单词+The+或+the+之后的所有+fat+和+mat+单词。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

正向后行断言

blocks|key|1nf4t|type|unstyled|text|负向后行断言是用于获取不在特定模式之前的所有匹配的内容。负向后行断言表示为+(?<!...)。例如正则表达式+(?<!(T%7Ct)he\s)(cat)，表示:+在输入字符中获取所有不在+The+或+the+之后的所有单词+cat。|depth|inlineStyleRanges|entityRanges|hsun|标记也称为修饰符，因为它会修改正则表达式的输出。这些标志可以以任意顺序或组合使用，并且是正则表达式的一部分。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

负向后行断言

blocks|key|66sfu|type|unstyled|text|i+修饰符用于执行不区分大小写匹配。例如正则表达式+/The/gi，表示:+大写字母+T，后跟小写字母+h，后跟字母+e。|depth|inlineStyleRanges|entityRanges|bhri5|但是在正则匹配结束时+i+标记会告诉正则表达式引擎忽略这种情况。正如您所看到的，我们还使用了+g+标记，因为我们要在整个输入字符串中搜索匹配。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

不区分大小写

blocks|key|5210j|type|unstyled|text|g+修饰符用于执行全局匹配+(会查找所有匹配，不会在查找到第一个匹配时就停止)。|depth|inlineStyleRanges|entityRanges|brvf8|例如正则表达式+/.(at)/g，表示:+除换行符之外的任意字符，后跟小写字母+a，后跟小写字母+t。|e2s64|因为我们在正则表达式的末尾使用了+g+标记，它会从整个输入字符串中找到每个匹配项。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

全局搜索

blocks|key|f6t4a|type|unstyled|text|m+修饰符被用来执行多行的匹配。正如我们前面讨论过的+(%5E,+$)，使用定位符来检查匹配字符是输入字符串开始或者结束。但是我们希望每一行都使用定位符，所以我们就使用+m+修饰符。|depth|inlineStyleRanges|entityRanges|f7jpo|例如正则表达式+/at(.)?$/gm，表示:+小写字母+a，后跟小写字母+t，匹配除了换行符以外任意字符零次或一次。而且因为+m+标记，现在正则表达式引擎匹配字符串中每一行的末尾。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

多行匹配

blocks|key|2r51|type|unstyled|text|不会，DTS+进行数据迁移时，其实是复制了源数据库的一份数据，并不会对源数据库的数据有任何影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|rjal|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|871s1|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bikdg|type|unstyled|text|因为迁移过程会有导入冷备阶段，我们会关闭+binlog+来提升写入性能，所以会有部分内容缺少，如果要实现内容不缺失，需要首先建立迁移，确保目标实例已经进入同步中后，然后再对目标实例设置订阅功能。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|b8shj|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

blocks|key|e72bt|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|35m1c|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|4vc91|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|7gnei|type|unstyled|text|因为我们的全量检测是需要对+session+进行+binlog+格式的设置，这个是需要+super+权限的，需要对迁移账号增加+super+权限授权。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6ngss|type|unstyled|text|TokuDB+有两种情况不支持转换到+InnoDB：源实例存在+TokuDB+压缩特性的表，或者存在+cluster+index+特性的表。n|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据传输服务

数据库

数据仓库

Kafka

云数据库

关系型数据库

NoSQL

数据挖掘

云迁移

数据一致性

数据流

服务器

由于数据中心服务器将被托管，这节省了企业部署数据中心所需的机房UPS、空调和其他设备的能源和功耗，除了数据中心机房的维护成本外，企业只需要考虑管理数据中心的功耗和运行成本，管理数据中心就可以用批发价格购买能源和电力 此外，数据中心服务器托管还可以为自己的企业员工节省大量的时间从而节省企业空间。
服务器托管配图3.jpg
数据中心服务器托管或服务器迁移中，企业需要研究受托人迁移的背景和过程，，最大限度地减少损失。 由于服务器通常是成批迁移的，因此共享局域网连接的应用程序现在必须更加努力地维护通信，以减轻潜在的网络延迟，并确定哪些应用程序协同工作以及何时工作，组织需要规划其数据中心迁移计划并使其尽可能简单。 企业还需要向其idc服务商和第三方提交自己的计划，并将其指向新的数据中心以获取任何许可证和合同修订。此外，要记录服务器设备保修信息和序列号，以避免物理迁移后出现问题。 在数据中心机房内迁移和托管服务器时，必须注意数据的完整性和步骤的准确性，同时托管服务器时必须做好记录和数据备份，以防意外需要。
服务器托管配图4.jpg

服务器托管及迁移有什么需要注意的？

随着网络时代的蓬勃兴起，IT企业的发展速度惊人，其中技术的不断更替、升级和升级也是导致企业数据中心机房规模不断升级和扩大的主导因素之一，随之而来的管理不方便、资源丢失等问题接踵而至。那么数据中心服务器托管或服务器迁移就成为了一种更为有利的数据解决方案。

服务器托管及迁移有什么需要注意的？

MySQL配置TokuDB的简单总结。MySQL中的存储引擎是插件式的，当然主流默认的是InnoDB，而且InnoDB存储引擎会随着MySQL官方的搭理投入会越来越火。1）要配置TokuDB，如果已经有了Percona的软件则不需要做额外的工作了，否则从插件式的安装角度来说，你也可以拷贝so的文件在其他版本中安装。创建目录 toku_data toku_log tmp 分别存储数据，日志和临时文件 6）使用命令ps_tokudb_admin来激活TokuDB,指定socket路径，端口等等。

TokuDB这个存储引擎还蛮有意思，被Percona收购之后，在Percona Server的安装目录中就默认存在了，所以有的同学说MySQL社区版和Percona有什么差别，喏，TukuDB就是一个。 此外还有很多的选择，比如MyRocks，也是Percona本身在大力推行的，TokuDB的更新自然会有延迟。
选择测试TokuDB是因为本身已有业务在使用，自然是想看看在5.7的版本中的表现如何。 1）要配置TokuDB，如果已经有了Percona的软件则不需要做额外的工作了，否则从插件式的安装角度来说，你也可以拷贝so的文件在其他版本中安装。 ，基本日志就是下面的样子，
比如5.7里面不需要单独指定jemalloc了，Transparent huge page关闭，thp_setting的配置这些都是重点内容，在这个步骤这个脚本也会自动修复。 或者是使用如下的SQL来看看TokuDB的版本信息。
SELECT @@tokudb_version;
整个过程其实会安装很多TokuDB的插件，这些是我们需要注意的点。

MySQL配置TokuDB的简单总结

MySQL中的存储引擎是插件式的，当然主流默认的是InnoDB，而且InnoDB存储引擎会随着MySQL官方的搭理投入会越来越火。有了MGR,还有InnoDB Cluster,其实听起来很炫彩，本质上InnoDB Cluster就是三大件（MySQL Shell,MySQL Router,MGR）
一直以来留给其他数据库的空间相对来说很小，比如MyISAM会在MySQL 8.0版本退出历史舞台，memory存储引擎也会逐步被替代，还有些存储引擎，自身发展的过程中也被革命掉了，比如falcon,还有些存储引擎

MySQL配置TokuDB的简单总结

ConfigServer 的分区容错性(P)和数据一致性(C)是复制集本身的性质。超过该大小就需要执行chunk分裂。chunk分裂是由mongos发起的，而数据放在mongod处，因此mongos无法准确判断每个增删改操作后某个chunk的数据实际大小。因此这个启发式的分裂方式很不精确，而除了手工以命令的方式分裂之外，这是mongos自带的唯一的chunk分裂方式。同一时间只有一个balancer模块在执行，这一点是mongos在configServer中注册分布式锁来保证的。

值得注意的是：
1) chunk_id->incr_delta 是维护在mongos内存里的一份数据，重启后丢失
2) 不同mongos之间的这份数据相互独立
3) 不带shardkey的update balancer 对于每一个collection的chunk 分布，计算出这个collection需要进行迁移的chunk，以及每个chunk需要迁移到哪个shard上。 如果获得锁成功，则向源shard发起moveChunk 命令
chunk迁移.Step2
mongod 执行moveChunk命令
cloneStage
1) 源mongod 根据需要迁移的chunk 目标收到_recvChunkCommit命令后，拉取源chunk上的修改并执行，执行成功后源解禁路由并清理源chunk的数据
流程图如下：

总结
经过分析，我们发现Mongos在迁移方面有很大的待提升空间 2) 搬迁时需要扫描源的数据集，一方面会与业务争QPS，一方面会破坏(如果是Mmap引擎)热点读写的working-set
3) Mongos启发式分裂chunk的方式极不靠谱，mongos重启后，启发信息就丢失了

Mongos 与集群均衡

如果使用已购买的实例，建议针对规格配置、网络等进行二次检查和调整，同时需要先清空目标云数据库的数据，再进行正式的数据迁移，避免数据冲突导致迁移失败。 ]
步骤9 在源实例的低峰期，针对MEMORY引擎表修改为Innodb引擎（如不存在非InnoDB引擎表可跳过此步骤）。 注意事项：点击【完成】按钮后，源库的数据变更不会在同步到目标库中，并且不支持重新同步，请谨慎操作。如果不进行任何写操作测试，那么请跳出5.8.2章节。 注意：本案例以 5.6 版本为例；如果源实例为 5.7版本，其支持设置super_read_only，禁止包括 super 权限的账户写入，更安全。 [业务割接图示]
6.4 云数据库切换失败回滚方案(可选）
注意事项：本章节仅用于切换数据库失败场景的回滚方案。如果云数据库切换后，业务一切正常，那么不需要执行本步骤。

中小型企业IDC机房数据库迁移上云的最佳实践

本文主要介绍中小型互联网企业，从本地机房迁移数据库到腾讯云的实践方法。其中包含了详细数据库迁移的方法和步骤，并且增加了实践演练和验证。实践与验证部分内容以常见的 Discuz! 论坛迁移上云做为案例。

中小型企业IDC机房数据库迁移上云的最佳实践

可以看到爱奇艺的数据库种类是很多的，这可能会造成业务开发不太清楚在他的业务场景下，应该选用哪种数据库系统。当一个数据读或写到达 ScyllaDB 的 server 时，会按照哈希算法来判断请求的 Key 是否是该线程需要处理的，如果是则本线程处理，否则会转发到对应线程上去。对于关系型数据库的选型来说，可以从数据量和扩展性两个维度考虑，再根据数据库有没有冷备、要不要使用 Toku 存储引擎，要不要使用 Proxy 等等进行抉择。

这样一来，业务的开发同学只需要将数据存入 MySQL 里，读取时可能从后端接入的任意数据库读出。这种方式目前只是过渡使用，之后会根据 TiDB 的特性进行逐步迁移。


? Key 放在内存里，Value 放在盘上的文件里，在读和写文件时，只需要在内存索引里定位，再进行一次盘的 IO 开销就可以把数据读出来，相比 ScyllaDB 原本基于 LSM Tree 的存储引擎方式对 除此之外还会定期做预警检查，对业务集群里潜在的问题进行预警报告；开发智能客服，回答问题；通过监控的数据对实例打标签，进行削峰填谷的智能调度，提高资源利用率。


? 对于关系型数据库的选型来说，可以从数据量和扩展性两个维度考虑，再根据数据库有没有冷备、要不要使用 Toku 存储引擎，要不要使用 Proxy 等等进行抉择。
? 第二，对于某个数据库系统或是某个技术选型我们应该考虑什么？是因为热门吗？还是因为技术上比较先进？但是不是能真正地解决问题？如果你数据量不是很大的话就不需要选择可以存储大数据量的系统。

我们做数据库选型的时候首先要问：需求是谁提出的，也就是说谁选型？是负责采购的同学、 DBA 还是业务研发？

如果迁移的源实例里面有 Toku 引擎，迁移会有什么需要注意的？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐