blocks|key|b8shj|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

数据校验为什么需要源数据库实例不为只读？

entityMap|0|type|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/59387|1|https://cloud.tencent.com/document/product/571/59386|2|https://cloud.tencent.com/document/product/571/59388|blocks|key|2fpkh|text|数据传输服务的产品功能有哪些？|header-one|depth|inlineStyleRanges|entityRanges|af10j|数据迁移+|header-two|offset|length|style|BOLD|aaqk1|数据迁移功能指不同数据源之间的数据复制，腾讯云+DTS+支持数据库不停机迁移，最小化迁移过程引起的数据库宕机对业务造成的影响。数据迁移功能适用于数据上云迁移、腾讯云内部跨实例数据迁移、第三方厂商迁移至腾讯云等业务场景。|unstyled|bk6i8|数据同步+|fg9ic|数据同步功能指两个数据源之间的数据实时同步，可应用于云上云下多活、异地多活、跨境数据同步，及实时数据仓库等业务场景。|70b6b|数据同步不同于数据迁移，数据迁移是以整体数据库搬迁为目的，它属于一次性的短期任务，而数据同步属于持续性任务，任务创建后会一直同步数据，保持源库和目标库的数据一致性。|5cvke|数据订阅+|7510e|数据订阅是指获取数据库中关键业务的数据变化信息，将这些信息包装为消息对象推送到+Kafka+中，方便下游业务订阅、获取和消费。腾讯云+DTS+支持通过+Kafka+Client+直接消费数据，方便用户搭建云数据库和异构系统之间的数据同步，如缓存更新，ETL（数据仓库技术）实时同步，业务异步解耦等。|52vqt|数据传输服务+DTS+支持关系型数据库+RDBMS、非关系型数据库+NoSQL+数据源间的数据传输。它提供了数据迁移、实时数据订阅以及实时数据同步等多种数据传输方式。相对于第三方数据流工具，数据传输服务+DTS+提供更丰富多样、高性能、高安全可靠的传输链路，同时提供了诸多便利功能，极大地方便了传输链路的创建及管理。|fuvi8|数据传输服务的产品优势是什么？|empak|数据同步|fj1nu|数据传输服务帮助您将数据库迁移至+TencentDB，且几乎不需要停机拷贝。源数据库在迁移期间发生的所有数据更改都会复制到目标数据库，因此迁移期间不影响源数据库对外提供服务。在数据复制完成后，源数据库和目标数据库将保持继续同步，您可自由选择业务切换时间。|1l00o|高传输性能|acbm4|数据传输服务使用高规格服务器来保证每条迁移同步链路都能拥有良好的传输性能。在数据迁移方面，数据传输服务底层采取了多种性能优化措施；相对于传统的数据迁移工具，极大提升了传输性能。|esr10|故障自动恢复|f201o|数据传输服务具有极高的可用性，每个节点均具备高度的恢复和自愈能力，故障秒级恢复。DTS+的高可靠性让您可以放心将数据迁移上云，无需担心迁移数据的一致性问题。|1ee33|可视化操作|3bn8k|数据传输服务无需单独安装驱动程序或应用程序，无需对源数据库做大幅改动，只需在腾讯云提供的可视化管理界面进行简单配置即可开启数据传输。|au89h|设置简单快速|6t9sm|在腾讯云数据传输服务管理控制台中，只需花费几分钟就能设置一个迁移任务。您可以在迁移任务中定义用来执行迁移的各项参数，其中包括设置源数据库和目标数据库的连接，以及迁移类型和对象。|d5n48^0|0|0|4|0|4|0|0|0|0|4|0|4|1|0|0|0|0|4|0|4|2|0|0|0|0|0|0|0|0|0|0|0|0|0|0^^$0|$1|$2|3|4|5|6|$7|8]]|9|$2|3|4|5|6|$7|A]]|B|$2|3|4|5|6|$7|C]]]|D|@$E|F|G|H|2|I|J|1V|K|@]|L|@]|6|$]]|$E|M|G|N|2|O|J|1W|K|@$P|1X|Q|1Y|R|S]]|L|@$P|1Z|Q|20|E|21]]|6|$]]|$E|T|G|U|2|V|J|22|K|@]|L|@]|6|$]]|$E|W|G|X|2|O|J|23|K|@$P|24|Q|25|R|S]]|L|@$P|26|Q|27|E|28]]|6|$]]|$E|Y|G|Z|2|V|J|29|K|@]|L|@]|6|$]]|$E|10|G|11|2|V|J|2A|K|@]|L|@]|6|$]]|$E|12|G|13|2|O|J|2B|K|@$P|2C|Q|2D|R|S]]|L|@$P|2E|Q|2F|E|2G]]|6|$]]|$E|14|G|15|2|V|J|2H|K|@]|L|@]|6|$]]|$E|16|G|17|2|V|J|2I|K|@]|L|@]|6|$]]|$E|18|G|19|2|I|J|2J|K|@]|L|@]|6|$]]|$E|1A|G|1B|2|O|J|2K|K|@]|L|@]|6|$]]|$E|1C|G|1D|2|V|J|2L|K|@]|L|@]|6|$]]|$E|1E|G|1F|2|O|J|2M|K|@]|L|@]|6|$]]|$E|1G|G|1H|2|V|J|2N|K|@]|L|@]|6|$]]|$E|1I|G|1J|2|O|J|2O|K|@]|L|@]|6|$]]|$E|1K|G|1L|2|V|J|2P|K|@]|L|@]|6|$]]|$E|1M|G|1N|2|O|J|2Q|K|@]|L|@]|6|$]]|$E|1O|G|1P|2|V|J|2R|K|@]|L|@]|6|$]]|$E|1Q|G|1R|2|O|J|2S|K|@]|L|@]|6|$]]|$E|1S|G|1T|2|V|J|2T|K|@]|L|@]|6|$]]|$E|1U|G|-4|2|V|J|2U|K|@]|L|@]|6|$]]]]

数据订阅正则表达式

[Kafka 使用何种认证机制？](id:faq3)

服务端消息保留多久，如何设置消费 offset？

数据订阅 Kafka 版

数据同步对目标库有啥影响，是否要求目标库为空？

支持将高版本实例的数据同步到低版本的实例吗？

在双向同步拓扑中，是否可以对 DDL 进行双向同步？

同步任务启动后，是否支持增加或删除库表对象？

数据同步

数据迁移、同步、订阅如何收费的？

购买包年包月实例时，需要主账号支付，子账号不能购买？

购买及付费

使用 DTS 进行数据迁移，目标库是否需要为空？

数据迁移过程中源库是否支持写入？

数据迁移过程中目标库是否支持写入？

DTS 是否支持两端都是线下库的迁移？

DTS 是否支持两个不同腾讯云账号下的 TencentDB 实例之间的数据迁移？

DTS 是否支持同一个数据库实例内不同库表的迁移？

同一个源端数据库是否支持配置多个 DTS 任务，往不同的云数据库实例上迁移？

迁移过程中可以监控任务的进度吗？

为什么数据增量迁移服务会有15天设置?

在迁移数据过程中，如何保障数据准确性？

DTS 数据迁移能指定库表进行迁移么？

为什么全量迁移前后数据的大小不一致？

DTS 数据传输服务，是否支持跨国数据库迁移？

DTS 迁移过程中任务异常中断，是否可以重新启动？

对源库设置 binlog_format 为 row 之后，如何确保源库 binlog_format 格式立刻生效？

如果迁移的源实例里面有 Toku 引擎，迁移会有什么需要注意的？

MySQL 数据迁移可以迁移用户权限吗？

数据迁移

常见问题（NewDTS）

使用 DTS 进行数据迁移，源数据库的数据会不会在迁移后被删除掉？

为何开启了订阅的目标实例进行迁移会有内容缺少？

为何迁移时候选了全量检测会报缺少 super 权限的错误？

TokuDB 表在 DTS 迁移校验时校验出错可能是什么原因？

数据订阅支持多个 SDK 同时连接消费同一个通道吗？

数据订阅支持一个 SDK 同时连接多个通道吗？

SDK 启动报错，错误为：already has sdk on this channel，是什么原因？

数据订阅订阅实时增量数据时，新增的数据是指新增数据，还是包含修改的数据？

TencentDB 实例和本地数据库的表结构相同，但是索引不同，可以使用数据订阅功能进行实时同步吗？

数据订阅通道无法修改消费位点，原因是什么？

如何确认数据是否正常消费呢？

数据订阅如果消费端有一条记录没有 ACK，SDK 重启后为什么会收到重复数据呢？

如果 SDK 退出后，过几天重启运行，不能成功订阅数据？错误为：Maybe checkpint is too old？

SDK 正常拉数据过程中，突然卡住不能订阅到数据，但重启之后又可以消费到一部分，之后又卡住，是什么原因呢？

如何保证 SDK 订阅到的数据是一个完整的事务，根据提供的消费位点会拉取到事务中间的 record 吗？

数据订阅在 TencentDB 主备切换/主库重启时是否会发生问题？是否可能出现丢数据的情况？

SDK 启动时，报错：Do DTS authentication fail, caused by: get channel info from msg failed. 是什么原因？

SDK 启动时，报 secretId 没有权限？

数据订阅可能会收到重复数据吗？

一个数据订阅实例，可以订阅多个 TencentDB 实例吗？

如果 SDK 在运行的过程中发生 OOM 怎么办？

数据订阅

常见问题（旧版）

blocks|key|e93em|type|unstyled|text|数据迁移到目标库时，可以选择整个实例迁移，也可以选择指定对象迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1s88|type|unstyled|text|支持，迁移过程中源库可以正常进行数据写入，但在结构迁移、全量迁移阶段不能对源库进行+DDL+操作，否则可能会导致任务失败。等到增量迁移阶段，DDL+和+DML+都可以正常操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8ld64|type|unstyled|text|目标库不需要设置为只读，但是建议不要对目标库进行写入，如果在迁移过程中，用户同时向目标库写入，可能会导致最终源和目标的数据不一致。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|d0vlp|type|unstyled|text|不支持，源端或者目标端必须有一个是腾讯云数据库。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cnsuf|type|unstyled|text|支持，进行跨腾讯云账号下+TencentDB+实例间的迁移，需要以目标+TencentDB+实例所属的腾讯云账号登录+DTS。具体操作请参见+云数据库跨账号实例间迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/54117^0|0|1Z|C^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cq4pp|type|unstyled|text|不支持，DTS+仅支持源库和目标库为不同的数据库实例之间的数据迁移，不支持源库和目标库为同一个数据库实例（同一个数据库实例内不同库表对象的迁移）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8sujg|type|unstyled|text|支持，支持同一个源端迁移到多个目标端（任务可并行处理），也支持多个源端迁移到同一个目标端（需要等前一个任务进行到增量阶段才可发起新一个任务）。需要注意多个任务并行，可能会增加源端或者目标端的访问压力，影响迁移速率。如果您确定需要对同一个源端数据库创建多个任务，可以在创建第一个迁移任务后，通过操作列更多+>+创建类似任务，快捷创建相同的任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3biup|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

DTS 是否支持定时自动迁移？

blocks|key|bv7tm|type|unstyled|text|可以，您可以在腾讯云+DTS+控制台+数据迁移页面查看迁移任务进度。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dtsnew/migrate/page^0|0|B|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2hptb|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6a0d7|type|unstyled|text|DTS+内部采用腾讯云自研数据迁移架构，对传输链路进行实时的数据准确性校验，快速发现并纠正传输数据，保障传输数据可靠性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ernp6|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

blocks|key|63mht|type|unstyled|text|可以，迁移对象可以选择整个实例，也可以选择指定库表对象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|hclp|type|unstyled|text|用户选择增量迁移时，任务长时间没有结束，有可能需要用户自己进行结束操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据迁移什么时候结束？

blocks|key|6fs70|type|unstyled|text|因为源库和目标库的碎片空间不一样，源库可能存在一些空洞数据，因此全量迁移完成后目标库的表存储空间很可能会比源库的表存储空间小。建议用户迁移完成后使用+数据一致性校验+来核对源库和目标库内容是否一致。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/62564^0|0|23|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|9tbtd|type|unstyled|text|支持，接入方式选择公网可以实现跨国数据传输。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|dhdka|type|unstyled|text|可以，用户在配置任务时，可以设置自动重试策略，在任务发生异常中断（如源库或者目标库短暂不可用，网络问题等），DTS+支持在设置的时间范围内进行自动重试，无需手动干预。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cddgb|type|unstyled|text|MySQL+迁移过程中的加锁，指的是对源数据库加全局锁（FTWRL），选择全量数据迁移的场景中，才会涉及到加锁处理。|depth|inlineStyleRanges|entityRanges|ao9f7|当前+DTS+在+MySQL/MariaDB//Percona/TDSQL-C+MySQL/TDSQL+MySQL/TDSQL+TDStore+之间的数据迁移中，默认使用无锁迁移。无锁迁移指对源库不加全局锁（FTWRL），仅对无主键的表加表锁。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

MySQL 迁移过程中是否会加锁？

blocks|key|2eoo2|type|unstyled|text|支持，但是建议用户选择有主键校验的表，无主键的表也可以发起任务，但是会造成以下影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持迁移无主键的表？

blocks|key|fn8ov|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|apkh8|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|5h53s|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|4saed|type|unstyled|text|支持，新版本+DTS+支持对用户的权限进行迁移，具体操作请参考+账号迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/65702^0|0|W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cds29|type|unstyled|text|收费链路和具体收费标准请参见+计费概述。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/18736^0|0|F|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2fmnr|type|unstyled|text|退费仅对以包年包月形式购买的实例，以按量计费形式购买的实例，因为本身是后付费形式，无法申请退款。对包年包月实例进行退费时，每个主体默认享有1次5天内无理由全额退款，其余退款申请按照非全额退款处理。具体请参见+退费说明。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/40536^0|0|2W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

支持退费吗？

blocks|key|orsd|type|unstyled|text|子用户一般没有支付+DTS+包年包月实例的权限，在提交订单时出现如下提示，需要主账号来支付订单。n|depth|inlineStyleRanges|entityRanges|cn5bh|请参考+授权子用户财务权限，授权子用户支付包年包月实例的权限。|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/74020^0|0|0|4|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]]|$1|A|3|4|5|B|7|N|8|@]|9|@$1|O|C|P|D|Q]]]]|E|$F|$3|G|H|I|J|$K|L]]]]

blocks|key|89bgp|type|unstyled|text|使用+DTS+进行数据同步对目标库没有影响，不需要目标库为空。DTS+支持检测源库和目标库是否有同名对象，并支持在发生同名对象冲突时按照设置的策略进行处理，将任务报错提醒用户，或者忽略报错继续任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5jsc9|type|unstyled|text|不支持。同一个类型的数据库，目标实例的大版本必须不小于源实例。以+MySQL+实例为例，不支持+MySQL+5.7+的实例同步到+MySQL+5.6。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|b0bsq|type|unstyled|text|可以。可以将云上的数据库同步到云下，接入方式支持公网、云联网等。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

源/目标能否为云下实例？

blocks|key|85njv|type|unstyled|text|不可以。创建同步实例时，只能允许其中一个实例进行+DDL+同步，否则检测算法检测到+DDL+循环，会禁止其中一个实例的创建。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1e3aa|type|unstyled|text|当前技术方案采用在事务中打上路由信息来标记事务的来源，依赖于事务的原子性。基于非事务引擎的库表，会破坏了事务的原子性，无法保证数据一致，不建议用户使用。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持非事务引擎？

blocks|key|5bs3b|type|unstyled|text|支持。选择需要修改的同步任务，通过操作+>+修改同步配置，可以修改同步任务配置。|depth|inlineStyleRanges|entityRanges|9vdq7|可支持增加/删除同步对象、修改主键冲突策略、SQL+同步策略等。修改同步配置时，已有的同步任务不会暂停，也不会受影响。更多详情请参考+。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|1fk6v|type|unordered-list-item|text|排查网络问题，Kafka+服务器地址为腾讯云内网地址，只能在腾讯云与订阅实例相同地域的私有网络内访问。|depth|inlineStyleRanges|entityRanges|5igq1|排查订阅+topic、内网地址、消费组名称、帐号、密码等是否正确。可在+数据订阅控制台+单击订阅名进入订阅详情页和消费管理页查看。|offset|length|66uf4|排查加密参数是否正确，参见+Kafka+使用何种认证机制。|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dts/dss|1|https://cloud.tencent.com/document/product/571/53454#faq3^0|0|0|10|7|0|1|E|E^^$0|@$1|2|3|4|5|6|7|Q|8|@]|9|@]]|$1|A|3|4|5|B|7|R|8|@]|9|@$1|S|C|T|D|U]]]|$1|E|3|4|5|F|7|V|8|@]|9|@$1|W|C|X|D|Y]]]]|G|$H|$3|I|J|K|L|$M|N]]|O|$3|I|J|K|L|$M|P]]]]

为什么我消费不到数据？

blocks|key|bmucr|type|unstyled|text|数据订阅+Kafka+版使用+Protobuf+进行序列化。Protobuf+协议文件可在+此处+下载，Demo+工程中也包含了协议文件，具体请参考+生产和消费逻辑讲解。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://subscribesdk-1254408587.cos.ap-beijing.myqcloud.com/subscribe.proto|1|https://cloud.tencent.com/document/product/571/52381#dgxljjj^0|0|1A|2|1|23|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@$1|N|A|O|B|P]|$1|Q|A|R|B|S]]]]|C|$D|$3|E|F|G|H|$I|J]]|K|$3|E|F|G|H|$I|L]]]]

数据格式是怎么样的?

blocks|key|468g3|type|unstyled|text|如下所示：|depth|inlineStyleRanges|entityRanges|5cp6l|atomic|[83aa8f6122ee106f57568b6f25a1bd08.png]|offset|length|entityMap|0|IMAGE|mutability|IMMUTABLE|data|imageUrl|https://main.qcloudimg.com/raw/83aa8f6122ee106f57568b6f25a1bd08.png|name^0|0|0|0|12^^$0|@$1|2|3|4|5|6|7|O|8|@]|9|@]]|$1|A|3|B|5|C|7|P|8|@]|9|@$1|Q|D|R|E|S]]]]|F|$G|$3|H|I|J|K|$L|M|N|-3]]]]

blocks|key|3qpqg|type|unstyled|text|首先请将+Kafka+的+enable_auto_commit+参数设置为+false，以关闭自动+commit。生产者会在消息序列中的合适位置插入+Checkpoint+消息，消费者消费到+Checkpoint+消息后进行+commit，这样有利于保证消息的完整性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

何时进行 Kafka commit?

blocks|key|98g27|type|unstyled|text|服务端消息保留1天。可以根据需要配置+Kafka+的+auto_offset_reset+参数为+earliest+或者+latest。如果需要从具体的+offset+开始消费，则可以利用+Kafka+Client+提供的+seek+功能，重新设置消费+offset。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|f3h17|type|unstyled|text|不支持，同一个通道最多只能有一个+SDK+连接并消费数据，如果用户有多个下游需要订阅同一个库表，可以通过建立多个通道来解决。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|be2v7|type|unstyled|text|支持，一个+SDK+可以同时消费多个通道。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8b8k1|type|unstyled|text|一个通道只能有一个+SDK+连接消费，如果新增连接，就会报这个错误。这时需确认程序是否完全退出，若确认完之后重连还是报同样的错误，可以将重启时间的间隔稍微加长一点，例如：20秒。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ff9li|type|unstyled|text|数据订阅可以订阅的增量数据包括：所有的增删改（+DML+）以及结构变更（+DDL+）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1se3a|type|unstyled|text|可以，如果数据订阅只订阅数据变更，那么两边索引不同不会影响。如果订阅了结构变更，而且+TencentDB+实例上涉及到索引变更的话，可能会由于两边索引不同，导致结构变更在本地消费失败。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|e4348|type|unstyled|text|修改位点报错时，界面上有相应的提示。一般是由于订阅通道还有下游在消费，可以先到+DTS+控制台查看消费来源+IP，查看是否还有下游+SDK+在消费数据，如果有，那么需要先停止下游消费后，重新修改消费位点。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1qd81|type|unstyled|text|在有数据写入的情况（+或者还有数据没有消费完+），如果数据正常消费，那么控制台上的消费位点就会正常迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|636bj|type|unstyled|text|当+SDK+有+message+没有+ACK+时，SDK+会持续拉取消息直到+SDK+内的缓存塞满，SDK+不再获取新消息。此时，服务端保存的消费位点为未+ACK+之前的最后一条+message+的位点。|depth|inlineStyleRanges|entityRanges|7hvam|当+SDK+重启时，为了保证消息不丢，服务端会从未+ACK+前一条+message+对应的位点开始重新推送数据，所以+SDK+此时会重复收取一部分消息。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|7kgbq|type|unstyled|text|数据订阅通道中保留数据的时间范围为1天，从当前时间-1天，当天时间，订阅通道会删除过期数据。所以如果上次+SDK+退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道有效数据范围内，那么就不能订阅到这个消费位点对应的数据。为修复这个问题，在启动+SDK+之前，需要先修改消费位点，确保消费位点在有效数据范围内。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5efv8|type|unstyled|text|这种情况，比较大可能是+SDK+代码中没有调用+ackAsConsumed+接口汇报消费位点导致的。由于+SDK+内部设置了有限缓存空间，如果不调用+ackAsConsumed+汇报位点，那么这缓存空间数据就不会删除，当缓存满时，就不能拉取新的数据，就会出现+SDK+卡住不能订阅数据现象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|2jeu|type|unstyled|text|不会，根据用户指定的消费位点或者上次确认消费的位点，服务端会搜索这个消费位点对应的完整事务的起始位置，从整个事务头部的开始，向下游+SDK+传输数据，所以可以保证接收到完整的事务内容。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|co62b|type|unstyled|text|不会有问题，TencentDB+实例发生主备切换/重启时，数据订阅会自动切换，这个过程对+SDK+来说是透明的。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1r9qb|type|unstyled|text|需要确认输入的参数是否匹配，ip、+port、+secretId、+secretKey、+channelId+是否匹配。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|fr96q|type|unstyled|text|子账号默认没有任何权限，需要根账号给子账号赋予+name/dts:AuthenticateSubscribeSDK+操作的权限，或者赋予+DTS+所有操作的权限+QcloudDTSFullAccess。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|97ur9|type|unstyled|text|在正常消费情况下，不会。如果+SDK+非正常退出，最后确认的位点信息没有及时上报，下次启动可能会收到重复数据，这种情况概率极小。|depth|inlineStyleRanges|entityRanges|1piru|如果没有确认完一个完整的事务，那么下次启动会从这个事务的头部开始重新拉取，这种情况下，不能看作重复数据。+SDK+的核心逻辑会保证事务的完整性。+|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|3752t|type|unstyled|text|不可以，目前一个数据订阅实例只能订阅一个+TencentDB+实例。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bfnk7|type|unstyled|text|选一个配置更好一点的宿主机，单个+SDK+在高速平稳运行时，消耗+CPU+资源小于1核，内存占用小于1.5GB。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3nnsb|type|unstyled|text|英文句号+.+是元字符的最简单的例子。元字符+.+可以匹配任意单个字符。它不会匹配换行符和新行的字符。例如正则表达式+.ar，表示:+任意字符后面跟着一个字母+a，再后面跟着一个字母+r。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

英文句号

blocks|key|fgj54|type|unstyled|text|字符集也称为字符类。方括号被用于指定字符集。使用字符集内的连字符来指定字符范围。方括号内的字符范围的顺序并不重要。|depth|inlineStyleRanges|entityRanges|3f6r7|例如正则表达式+Tthe，表示:+大写+T+或小写+t+，后跟字母+h，再后跟字母+e。|40b6v|然而，字符集中的英文句号表示它字面的含义。正则表达式+ar.，表示小写字母+a，后面跟着一个字母+r，再后面跟着一个英文句号+.+字符。|c0ec5|一般来说插入字符+%5E+表示一个字符串的开始，但是当它在方括号内出现时，它会取消字符集。例如正则表达式+%5Ecar，表示:+除了字母+c+以外的任意字符，后面跟着字符+a，再后面跟着一个字母+r。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

字符集

blocks|key|1ek5|type|unstyled|text|以下元字符+%2B，*+或+?+用于指定子模式可以出现多少次。这些元字符在不同情况下的作用不同。|depth|inlineStyleRanges|entityRanges|f1it2|该符号++表示匹配上一个匹配规则的零次或多次。正则表达式+a+表示小写字母+a+可以重复零次或者多次。但是它如果出现在字符集或者字符类之后，它表示整个字符集的重复。|offset|length|style|ITALIC|4p47f|例如正则表达式+a-z*，表示：一行中可以包含任意数量的小写字母。|sfrl|该++符号可以与元符号+.+用在一起，用来匹配任意字符串+.。该+*+符号可以与空格符+\s+一起使用，用来匹配一串空格字符。|b99mh|例如正则表达式+\scat\s，表示：零个或多个空格，后面跟小写字母+c，再后面跟小写字母+a，再往后面跟小写字母+t，后面再跟零个或多个空格。|42gl|该符号+%2B+匹配上一个字符的一次或多次。例如正则表达式+c.%2Bt，表示：一个小写字母+c，后跟任意数量的字符，后跟小写字母+t。|6bvl9|在正则表达式中，元字符+?+用来表示前一个字符是可选的。该符号匹配前一个字符的零次或一次。|8k2ed|例如正则表达式+T?he，表示：可选的大写字母+T，后面跟小写字母+h，后跟小写字母+e。|entityMap|data|mutability^0|0|4|Q|0|0|2|S|0|A|5|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@$C|X|D|Y|E|F]]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@$C|11|D|12|E|F]]|9|@]]|$1|K|3|4|5|L|7|13|8|@$C|14|D|15|E|F]]|9|@]]|$1|M|3|4|5|N|7|16|8|@]|9|@]]|$1|O|3|4|5|P|7|17|8|@]|9|@]]|$1|Q|3|4|5|R|7|18|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

重复

blocks|key|2nhdn|type|unstyled|text|在正则表达式中花括号（也被称为量词）用于指定字符或一组字符可以重复的次数。例如正则表达式+0-9{2,3}，表示:+匹配至少2位数字但不超过3位(0到9范围内的字符)。|depth|inlineStyleRanges|entityRanges|gc6l|我们可以省略第二个数字。例如正则表达式+0-9{2,}，表示:+匹配2个或更多个数字。如果我们也删除逗号，则正则表达式+0-9{2}，表示:+匹配正好为2位数的数字。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

花括号

blocks|key|6499q|type|unstyled|text|字符组是一组写在圆括号内的子模式+(...)。正如我们在正则表达式中讨论的那样，如果我们把一个量词放在一个字符之后，它会重复前一个字符。|depth|inlineStyleRanges|entityRanges|c577r|但是，如果我们把量词放在一个字符组之后，它会重复整个字符组。|hcq9|例如正则表达式+(ab)*+表示匹配零个或多个的字符串+"ab"。我们还可以在字符组中使用元字符+%7C。例如正则表达式+(c%7Cg%7Cp)ar，表示:+小写字母+c、g+或+p+后面跟字母+a，后跟字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

字符组

blocks|key|f7a22|type|unstyled|text|在正则表达式中垂直条+%7C+用来定义分支结构，分支结构就像多个表达式之间的条件。现在您可能认为这个字符集和分支机构的工作方式一样。|depth|inlineStyleRanges|entityRanges|1htcn|但是字符集和分支结构巨大的区别是字符集只在字符级别上有作用，然而分支结构在表达式级别上依然可以使用。|fop1|例如正则表达式+(T%7Ct)he%7Ccar，表示:+大写字母+T+或小写字母+t，后面跟小写字母+h，后跟小写字母+e+或小写字母+c，后跟小写字母+a，后跟小写字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

分支结构

blocks|key|750fi|type|unstyled|text|正则表达式中使用反斜杠+\+来转义下一个字符。这将允许您使用保留字符来作为匹配字符+{+}+++/+\+%2B+*+.+$+%5E+%7C+?。在特殊字符前面加+\，就可以使用它来做匹配字符。|depth|inlineStyleRanges|entityRanges|3egr8|例如正则表达式+.+是用来匹配除了换行符以外的任意字符。现在要在输入字符串中匹配+.+字符，正则表达式+(f%7Cc%7Cm)at.?，表示:+小写字母+f、c+或者+m+后跟小写字母+a，后跟小写字母+t，后跟可选的+.+字符。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

转义特殊字符

blocks|key|crt65|type|unstyled|text|在正则表达式中，为了检查匹配符号是否是起始符号或结尾符号，我们使用定位符。|depth|inlineStyleRanges|entityRanges|f5ldi|定位符有两种类型:+第一种类型是+%5E+检查匹配字符是否是起始字符，第二种类型是+$，它检查匹配字符是否是输入字符串的最后一个字符。|6493a|插入符号+%5E+符号用于检查匹配字符是否是输入字符串的第一个字符。如果我们使用正则表达式+%5Ea+(如果a是起始符号)匹配字符串+abc，它会匹配到+a。|7a7cf|但是如果我们使用正则表达式+%5Eb，它是匹配不到任何东西的，因为在字符串+abc+中+"b"+不是起始字符。|182pu|让我们来看另一个正则表达式+%5E(T%7Ct)he，这表示:+大写字母+T+或小写字母+t+是输入字符串的起始符号，后面跟着小写字母+h，后跟小写字母+e。|a9m9p|美元+$+符号用于检查匹配字符是否是输入字符串的最后一个字符。例如正则表达式+(at.)$，表示:+小写字母+a，后跟小写字母+t，后跟一个+.+字符，且这个匹配器必须是字符串的结尾。|6rhl3|正则表达式为常用的字符集和常用的正则表达式提供了简写。简写字符集如下:|5hug7|后行断言和先行断言有时候被称为断言，它们是特殊类型的非捕获组+(用于匹配模式，但不包括在匹配列表中)。当我们在一种特定模式之前或者之后有这种模式时，会优先使用断言。|8eb9v|例如，我们想获取输入字符串+$4.44+and+$10.88+中+$+字符之前的所有数字。我们可以使用这个正则表达式+(?<=\$)0-9.*，表示:+获取+$+字符之前的所有的数字包含+.+字符。|2ftvb|以下是正则表达式中使用的断言:|entityMap|data|mutability^0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@]|9|@]]|$1|C|3|4|5|D|7|X|8|@]|9|@]]|$1|E|3|4|5|F|7|Y|8|@]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@]|9|@]]|$1|K|3|4|5|L|7|11|8|@]|9|@]]|$1|M|3|4|5|N|7|12|8|@]|9|@]]|$1|O|3|4|5|P|7|13|8|@]|9|@]]|$1|Q|3|4|5|R|7|14|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

定位符

blocks|key|fgeto|type|unstyled|text|正向先行断言认为第一部分的表达式必须是先行断言表达式。返回的匹配结果仅包含与第一部分表达式匹配的文本。|depth|inlineStyleRanges|entityRanges|381nd|要在一个括号内定义一个正向先行断言，在括号中问号和等号是这样使用的+(?=...)。先行断言表达式写在括号中的等号后面。|9bl0u|例如，正则表达式+(T%7Ct)he(?=\sfat)，表示:+匹配大写字母+T+或小写字母+t，后面跟字母+h，后跟字母+e。|dddlm|在括号中，我们定义了正向先行断言，它会引导正则表达式引擎匹配+The+或+the+后面跟着+fat。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

正向先行断言

blocks|key|3in04|type|unstyled|text|当我们需要从输入字符串中获取不匹配表达式的内容时，使用负向先行断言。负向先行断言的定义跟我们定义的正向先行断言一样，|depth|inlineStyleRanges|entityRanges|1ulbc|唯一的区别是不是等号+=，我们使用否定符号+!，例如+(?!...)。|adlg|我们来看下面的正则表达式+(T%7Ct)he(?!\sfat)，表示:+从输入字符串中获取全部+The+或者+the+且不匹配+fat+前面加上一个空格字符。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

负向先行断言

blocks|key|9sb0r|type|unstyled|text|正向后行断言是用于获取在特定模式之前的所有匹配内容。正向后行断言表示为+(?<=...)。例如正则表达式+(?<=(T%7Ct)he\s)(fat%7Cmat)，表示:+从输入字符串中获取在单词+The+或+the+之后的所有+fat+和+mat+单词。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

正向后行断言

blocks|key|1nf4t|type|unstyled|text|负向后行断言是用于获取不在特定模式之前的所有匹配的内容。负向后行断言表示为+(?<!...)。例如正则表达式+(?<!(T%7Ct)he\s)(cat)，表示:+在输入字符中获取所有不在+The+或+the+之后的所有单词+cat。|depth|inlineStyleRanges|entityRanges|hsun|标记也称为修饰符，因为它会修改正则表达式的输出。这些标志可以以任意顺序或组合使用，并且是正则表达式的一部分。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

负向后行断言

blocks|key|66sfu|type|unstyled|text|i+修饰符用于执行不区分大小写匹配。例如正则表达式+/The/gi，表示:+大写字母+T，后跟小写字母+h，后跟字母+e。|depth|inlineStyleRanges|entityRanges|bhri5|但是在正则匹配结束时+i+标记会告诉正则表达式引擎忽略这种情况。正如您所看到的，我们还使用了+g+标记，因为我们要在整个输入字符串中搜索匹配。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

不区分大小写

blocks|key|5210j|type|unstyled|text|g+修饰符用于执行全局匹配+(会查找所有匹配，不会在查找到第一个匹配时就停止)。|depth|inlineStyleRanges|entityRanges|brvf8|例如正则表达式+/.(at)/g，表示:+除换行符之外的任意字符，后跟小写字母+a，后跟小写字母+t。|e2s64|因为我们在正则表达式的末尾使用了+g+标记，它会从整个输入字符串中找到每个匹配项。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

全局搜索

blocks|key|f6t4a|type|unstyled|text|m+修饰符被用来执行多行的匹配。正如我们前面讨论过的+(%5E,+$)，使用定位符来检查匹配字符是输入字符串开始或者结束。但是我们希望每一行都使用定位符，所以我们就使用+m+修饰符。|depth|inlineStyleRanges|entityRanges|f7jpo|例如正则表达式+/at(.)?$/gm，表示:+小写字母+a，后跟小写字母+t，匹配除了换行符以外任意字符零次或一次。而且因为+m+标记，现在正则表达式引擎匹配字符串中每一行的末尾。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

多行匹配

blocks|key|2r51|type|unstyled|text|不会，DTS+进行数据迁移时，其实是复制了源数据库的一份数据，并不会对源数据库的数据有任何影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|rjal|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|871s1|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bikdg|type|unstyled|text|因为迁移过程会有导入冷备阶段，我们会关闭+binlog+来提升写入性能，所以会有部分内容缺少，如果要实现内容不缺失，需要首先建立迁移，确保目标实例已经进入同步中后，然后再对目标实例设置订阅功能。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|e72bt|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|35m1c|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|4vc91|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|7gnei|type|unstyled|text|因为我们的全量检测是需要对+session+进行+binlog+格式的设置，这个是需要+super+权限的，需要对迁移账号增加+super+权限授权。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6ngss|type|unstyled|text|TokuDB+有两种情况不支持转换到+InnoDB：源实例存在+TokuDB+压缩特性的表，或者存在+cluster+index+特性的表。n|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据传输服务

数据库

数据仓库

Kafka

云数据库

关系型数据库

NoSQL

数据挖掘

云迁移

数据一致性

数据流

服务器

为什么我们真的需要一个类似Flume 的系统呢？
为什么不直接将数据从应用服务器写到HDFS？
将系统之间彼此隔离的消息系统已经存在了很长时间，在Hadoop 环境中Flume 做了这样的工作。 Flume 是专门设计用来从大量的源，推送数据到Hadoop 生态系统中各种各样存储系统中去的，例如HDFS 和HBase。
? 这样庞大数量的服务器试着将数据写入HDFS 或者HBase 集群，会因为多种原因导致重大问题。
HDFS 确切地需要一个客户端写入到文件——因此，在同一时间可能有成千上万的文件写入。 为了确保应用程序直接写入HDFS 或HBase 时，不丢失数据或不需要缓冲很多数据，需要配置HDFS 或HBase 集群，以很少或没有延迟的方式处理峰值流量。 实际上，在一个Flume Agent 中的数据流以下面几种方式运行：生产/ 接收的数据源写入数据到一个或者更多Channel，一个或者多个Sink 从Channel 读取这些事件，然后推送它们到下一个Agent

源，数据，Hadoop——我们为什么需要Flume

将系统之间彼此隔离的消息系统已经存在了很长时间，在Hadoop 环境中Flume 做了这样的工作。Flume 是专门设计用来从大量的源，推送数据到Hadoop 生态系统中各种各样存储系统中去的，例如HDFS 和HBase。

源，数据，Hadoop——我们为什么需要Flume

1.excel 不方便多人共享使用数据
excel好比一个移动硬盘，你打开使用excel，你的同事就无法再使用了。
数据库好比网盘，你和同事可以愉快的一起使用网盘或者数据库里的数据。 2.excel无法存放大量数据
excel可以存放十几万的数据，但是大数据时代，从来就不缺少数据，当数据量越来越大的时候，excel就无能为力了。而数据库却可以存放海量的数据。 所以，你看到淘宝几亿人使用，背后存放商品的不是excel，而是数据库。
3.excel无法处理复杂问题
数据库可以应对突发事故，比如数据丢失、数据被盗。数据库可以处理复杂的业务，比如银行存取款业务。 因为公司的数据是放到数据库里的，所以现在的数据分析、机器学习、开发工程师等职位在招聘要求中都会要求：使用过数据库，熟悉SQL。 具体的数据库和SQL关系我在《从零学会SQL：入门》课程里用“建筑施工人员”类比过，是下面图片里的关系：

从零学会SQL：入门​www.zhihu.com

为什么需要数据库？

excel可以存放十几万的数据，但是大数据时代，从来就不缺少数据，当数据量越来越大的时候，excel就无能为力了。而数据库却可以存放海量的数据。

为什么需要数据库？

抛开成熟度和工具先不谈，NOSQL的优势是我们需要关注的点，即为什么需要NOSQL数据库。先说几个NOSQL数据库的使用场景吧。在产品的开发过程中，数据模型不断演化，新的特性频繁添加。 使用文档存储如MongoDB，开发者可以不受严格模式限制，更快速地更改数据结构，无需进行繁琐的数据库迁移操作。社交媒体平台需要存储和处理数亿用户的数据。 移动应用需要实时同步用户状态和信息。使用像Couchbase Mobile这样的解决方案，可以在本地设备上提供NoSQL数据库的实例，并与云端数据库无缝同步，保证用户数据的实时性和一致性。 当然，现在更多的都是使用Redis作为NOSQL数据库，面试部分问的也是最多的，以下通过说明几个Redis的使用场景说明为什么需要NOSQL数据库。 使用NOSQL数据库，用户并不需要去维护一张数据表的结构，对于Redis数据库而言，仅需要去维护对应的数据结构即可，用map实现数据的存取，以分布式锁的方式实现资源共享，从而实现业务需求。

【MySQL】为什么需要NOSQL数据库

抛开成熟度和工具先不谈，NOSQL的优势是我们需要关注的点，即为什么需要NOSQL数据库。

【MySQL】为什么需要NOSQL数据库

在腾讯云上购买了服务器然后搭建mysql数据库，为什么需要undo log呢，下面我们来详细的解答。 ，redo log只关心未来
楼主提到『如果不提交数据，磁盘中的数据还是更新前的，事务回滚不更新数据就好了』。 如果我们只记录一个历史版本数据，其它事务每次都只需要读取到最新版本的数据，的确是这样，这个就是Read Committed
但是，如果说你要备份整个数据库，整个事务可能会持续一个小时，同时有大量线上并发修改操作 ，我相信你一定希望读取到逻辑一致的数据。 这时同一行数据就需要支持多个历史版本的数据了，这一招叫MVCC，对应Repeatable Read隔离级别，而记录多个历史版本数据的地方就叫undo log
实践中，对于面向个人业务的互联网在线业务，推荐

腾讯云自建数据库mysql为什么需要undo log？

在腾讯云上购买了服务器然后搭建mysql数据库，为什么需要undo log呢，下面我们来详细的解答。以下讨论以MySQL的InnoDB引擎为例

腾讯云自建数据库mysql为什么需要undo log？

数据源 – 零售示例
零售环境中的典型 AI Agent 可能会使用各种运营数据，结合经典数据和 AI 特定数据。以下是一些示例：
 用户个人资料和偏好： 支持高度个性化的推荐和客户体验。 Agentic AI 还需要维护有关开发人员创建的工具和功能的信息。此元数据可帮助 Agent 选择要调用哪个功能或数据源，从而不断发展其技能。 对于其他行业，核心运营数据类型可能有所不同（例如，制造业中的传感器读数），但基本原则保持不变：AI Agent 需要能够处理各种数据格式、频繁更新和实时可访问性的强大运营数据库。 为什么运营数据库很重要
使用多种不同的技术（一种用于缓存，另一种用于向量搜索，另一种用于事务）会降低性能、阻碍管理并使数据治理复杂化。 为了使 AI Agent 能够及时交付结果，所有这些数据交互都必须以最小的延迟发生。
运营数据库擅长高速、高并发的工作负载，这些工作负载需要实时读取和写入。

为什么AI Agent需要一个运营数据库

一个专门为速度、可扩展性和低延迟而设计的平台，确保 AI 代理能够有效地收集、处理和交付上下文丰富的可观测性结果。

数据校验为什么需要源数据库实例不为只读？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐