blocks|key|97ur9|type|unstyled|text|在正常消费情况下，不会。如果+SDK+非正常退出，最后确认的位点信息没有及时上报，下次启动可能会收到重复数据，这种情况概率极小。|depth|inlineStyleRanges|entityRanges|1piru|如果没有确认完一个完整的事务，那么下次启动会从这个事务的头部开始重新拉取，这种情况下，不能看作重复数据。+SDK+的核心逻辑会保证事务的完整性。+|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

数据订阅可能会收到重复数据吗？

entityMap|0|type|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/59387|1|https://cloud.tencent.com/document/product/571/59386|2|https://cloud.tencent.com/document/product/571/59388|blocks|key|2fpkh|text|数据传输服务的产品功能有哪些？|header-one|depth|inlineStyleRanges|entityRanges|af10j|数据迁移+|header-two|offset|length|style|BOLD|aaqk1|数据迁移功能指不同数据源之间的数据复制，腾讯云+DTS+支持数据库不停机迁移，最小化迁移过程引起的数据库宕机对业务造成的影响。数据迁移功能适用于数据上云迁移、腾讯云内部跨实例数据迁移、第三方厂商迁移至腾讯云等业务场景。|unstyled|bk6i8|数据同步+|fg9ic|数据同步功能指两个数据源之间的数据实时同步，可应用于云上云下多活、异地多活、跨境数据同步，及实时数据仓库等业务场景。|70b6b|数据同步不同于数据迁移，数据迁移是以整体数据库搬迁为目的，它属于一次性的短期任务，而数据同步属于持续性任务，任务创建后会一直同步数据，保持源库和目标库的数据一致性。|5cvke|数据订阅+|7510e|数据订阅是指获取数据库中关键业务的数据变化信息，将这些信息包装为消息对象推送到+Kafka+中，方便下游业务订阅、获取和消费。腾讯云+DTS+支持通过+Kafka+Client+直接消费数据，方便用户搭建云数据库和异构系统之间的数据同步，如缓存更新，ETL（数据仓库技术）实时同步，业务异步解耦等。|52vqt|数据传输服务+DTS+支持关系型数据库+RDBMS、非关系型数据库+NoSQL+数据源间的数据传输。它提供了数据迁移、实时数据订阅以及实时数据同步等多种数据传输方式。相对于第三方数据流工具，数据传输服务+DTS+提供更丰富多样、高性能、高安全可靠的传输链路，同时提供了诸多便利功能，极大地方便了传输链路的创建及管理。|fuvi8|数据传输服务的产品优势是什么？|empak|数据同步|fj1nu|数据传输服务帮助您将数据库迁移至+TencentDB，且几乎不需要停机拷贝。源数据库在迁移期间发生的所有数据更改都会复制到目标数据库，因此迁移期间不影响源数据库对外提供服务。在数据复制完成后，源数据库和目标数据库将保持继续同步，您可自由选择业务切换时间。|1l00o|高传输性能|acbm4|数据传输服务使用高规格服务器来保证每条迁移同步链路都能拥有良好的传输性能。在数据迁移方面，数据传输服务底层采取了多种性能优化措施；相对于传统的数据迁移工具，极大提升了传输性能。|esr10|故障自动恢复|f201o|数据传输服务具有极高的可用性，每个节点均具备高度的恢复和自愈能力，故障秒级恢复。DTS+的高可靠性让您可以放心将数据迁移上云，无需担心迁移数据的一致性问题。|1ee33|可视化操作|3bn8k|数据传输服务无需单独安装驱动程序或应用程序，无需对源数据库做大幅改动，只需在腾讯云提供的可视化管理界面进行简单配置即可开启数据传输。|au89h|设置简单快速|6t9sm|在腾讯云数据传输服务管理控制台中，只需花费几分钟就能设置一个迁移任务。您可以在迁移任务中定义用来执行迁移的各项参数，其中包括设置源数据库和目标数据库的连接，以及迁移类型和对象。|d5n48^0|0|0|4|0|4|0|0|0|0|4|0|4|1|0|0|0|0|4|0|4|2|0|0|0|0|0|0|0|0|0|0|0|0|0|0^^$0|$1|$2|3|4|5|6|$7|8]]|9|$2|3|4|5|6|$7|A]]|B|$2|3|4|5|6|$7|C]]]|D|@$E|F|G|H|2|I|J|1V|K|@]|L|@]|6|$]]|$E|M|G|N|2|O|J|1W|K|@$P|1X|Q|1Y|R|S]]|L|@$P|1Z|Q|20|E|21]]|6|$]]|$E|T|G|U|2|V|J|22|K|@]|L|@]|6|$]]|$E|W|G|X|2|O|J|23|K|@$P|24|Q|25|R|S]]|L|@$P|26|Q|27|E|28]]|6|$]]|$E|Y|G|Z|2|V|J|29|K|@]|L|@]|6|$]]|$E|10|G|11|2|V|J|2A|K|@]|L|@]|6|$]]|$E|12|G|13|2|O|J|2B|K|@$P|2C|Q|2D|R|S]]|L|@$P|2E|Q|2F|E|2G]]|6|$]]|$E|14|G|15|2|V|J|2H|K|@]|L|@]|6|$]]|$E|16|G|17|2|V|J|2I|K|@]|L|@]|6|$]]|$E|18|G|19|2|I|J|2J|K|@]|L|@]|6|$]]|$E|1A|G|1B|2|O|J|2K|K|@]|L|@]|6|$]]|$E|1C|G|1D|2|V|J|2L|K|@]|L|@]|6|$]]|$E|1E|G|1F|2|O|J|2M|K|@]|L|@]|6|$]]|$E|1G|G|1H|2|V|J|2N|K|@]|L|@]|6|$]]|$E|1I|G|1J|2|O|J|2O|K|@]|L|@]|6|$]]|$E|1K|G|1L|2|V|J|2P|K|@]|L|@]|6|$]]|$E|1M|G|1N|2|O|J|2Q|K|@]|L|@]|6|$]]|$E|1O|G|1P|2|V|J|2R|K|@]|L|@]|6|$]]|$E|1Q|G|1R|2|O|J|2S|K|@]|L|@]|6|$]]|$E|1S|G|1T|2|V|J|2T|K|@]|L|@]|6|$]]|$E|1U|G|-4|2|V|J|2U|K|@]|L|@]|6|$]]]]

数据订阅正则表达式

[Kafka 使用何种认证机制？](id:faq3)

服务端消息保留多久，如何设置消费 offset？

数据订阅 Kafka 版

数据同步对目标库有啥影响，是否要求目标库为空？

支持将高版本实例的数据同步到低版本的实例吗？

在双向同步拓扑中，是否可以对 DDL 进行双向同步？

同步任务启动后，是否支持增加或删除库表对象？

数据同步

数据迁移、同步、订阅如何收费的？

购买包年包月实例时，需要主账号支付，子账号不能购买？

购买及付费

使用 DTS 进行数据迁移，目标库是否需要为空？

数据迁移过程中源库是否支持写入？

数据迁移过程中目标库是否支持写入？

DTS 是否支持两端都是线下库的迁移？

DTS 是否支持两个不同腾讯云账号下的 TencentDB 实例之间的数据迁移？

DTS 是否支持同一个数据库实例内不同库表的迁移？

同一个源端数据库是否支持配置多个 DTS 任务，往不同的云数据库实例上迁移？

迁移过程中可以监控任务的进度吗？

为什么数据增量迁移服务会有15天设置?

在迁移数据过程中，如何保障数据准确性？

数据校验为什么需要源数据库实例不为只读？

DTS 数据迁移能指定库表进行迁移么？

为什么全量迁移前后数据的大小不一致？

DTS 数据传输服务，是否支持跨国数据库迁移？

DTS 迁移过程中任务异常中断，是否可以重新启动？

对源库设置 binlog_format 为 row 之后，如何确保源库 binlog_format 格式立刻生效？

如果迁移的源实例里面有 Toku 引擎，迁移会有什么需要注意的？

MySQL 数据迁移可以迁移用户权限吗？

数据迁移

常见问题（NewDTS）

使用 DTS 进行数据迁移，源数据库的数据会不会在迁移后被删除掉？

为何开启了订阅的目标实例进行迁移会有内容缺少？

为何迁移时候选了全量检测会报缺少 super 权限的错误？

TokuDB 表在 DTS 迁移校验时校验出错可能是什么原因？

数据订阅支持多个 SDK 同时连接消费同一个通道吗？

数据订阅支持一个 SDK 同时连接多个通道吗？

SDK 启动报错，错误为：already has sdk on this channel，是什么原因？

数据订阅订阅实时增量数据时，新增的数据是指新增数据，还是包含修改的数据？

TencentDB 实例和本地数据库的表结构相同，但是索引不同，可以使用数据订阅功能进行实时同步吗？

数据订阅通道无法修改消费位点，原因是什么？

如何确认数据是否正常消费呢？

数据订阅如果消费端有一条记录没有 ACK，SDK 重启后为什么会收到重复数据呢？

如果 SDK 退出后，过几天重启运行，不能成功订阅数据？错误为：Maybe checkpint is too old？

SDK 正常拉数据过程中，突然卡住不能订阅到数据，但重启之后又可以消费到一部分，之后又卡住，是什么原因呢？

如何保证 SDK 订阅到的数据是一个完整的事务，根据提供的消费位点会拉取到事务中间的 record 吗？

数据订阅在 TencentDB 主备切换/主库重启时是否会发生问题？是否可能出现丢数据的情况？

SDK 启动时，报错：Do DTS authentication fail, caused by: get channel info from msg failed. 是什么原因？

SDK 启动时，报 secretId 没有权限？

一个数据订阅实例，可以订阅多个 TencentDB 实例吗？

如果 SDK 在运行的过程中发生 OOM 怎么办？

数据订阅

常见问题（旧版）

blocks|key|e93em|type|unstyled|text|数据迁移到目标库时，可以选择整个实例迁移，也可以选择指定对象迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1s88|type|unstyled|text|支持，迁移过程中源库可以正常进行数据写入，但在结构迁移、全量迁移阶段不能对源库进行+DDL+操作，否则可能会导致任务失败。等到增量迁移阶段，DDL+和+DML+都可以正常操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8ld64|type|unstyled|text|目标库不需要设置为只读，但是建议不要对目标库进行写入，如果在迁移过程中，用户同时向目标库写入，可能会导致最终源和目标的数据不一致。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|d0vlp|type|unstyled|text|不支持，源端或者目标端必须有一个是腾讯云数据库。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cnsuf|type|unstyled|text|支持，进行跨腾讯云账号下+TencentDB+实例间的迁移，需要以目标+TencentDB+实例所属的腾讯云账号登录+DTS。具体操作请参见+云数据库跨账号实例间迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/54117^0|0|1Z|C^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cq4pp|type|unstyled|text|不支持，DTS+仅支持源库和目标库为不同的数据库实例之间的数据迁移，不支持源库和目标库为同一个数据库实例（同一个数据库实例内不同库表对象的迁移）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8sujg|type|unstyled|text|支持，支持同一个源端迁移到多个目标端（任务可并行处理），也支持多个源端迁移到同一个目标端（需要等前一个任务进行到增量阶段才可发起新一个任务）。需要注意多个任务并行，可能会增加源端或者目标端的访问压力，影响迁移速率。如果您确定需要对同一个源端数据库创建多个任务，可以在创建第一个迁移任务后，通过操作列更多+>+创建类似任务，快捷创建相同的任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3biup|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

DTS 是否支持定时自动迁移？

blocks|key|bv7tm|type|unstyled|text|可以，您可以在腾讯云+DTS+控制台+数据迁移页面查看迁移任务进度。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dtsnew/migrate/page^0|0|B|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2hptb|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6a0d7|type|unstyled|text|DTS+内部采用腾讯云自研数据迁移架构，对传输链路进行实时的数据准确性校验，快速发现并纠正传输数据，保障传输数据可靠性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ernp6|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

blocks|key|63mht|type|unstyled|text|可以，迁移对象可以选择整个实例，也可以选择指定库表对象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|hclp|type|unstyled|text|用户选择增量迁移时，任务长时间没有结束，有可能需要用户自己进行结束操作。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据迁移什么时候结束？

blocks|key|6fs70|type|unstyled|text|因为源库和目标库的碎片空间不一样，源库可能存在一些空洞数据，因此全量迁移完成后目标库的表存储空间很可能会比源库的表存储空间小。建议用户迁移完成后使用+数据一致性校验+来核对源库和目标库内容是否一致。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/62564^0|0|23|7^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|9tbtd|type|unstyled|text|支持，接入方式选择公网可以实现跨国数据传输。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|dhdka|type|unstyled|text|可以，用户在配置任务时，可以设置自动重试策略，在任务发生异常中断（如源库或者目标库短暂不可用，网络问题等），DTS+支持在设置的时间范围内进行自动重试，无需手动干预。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|cddgb|type|unstyled|text|MySQL+迁移过程中的加锁，指的是对源数据库加全局锁（FTWRL），选择全量数据迁移的场景中，才会涉及到加锁处理。|depth|inlineStyleRanges|entityRanges|ao9f7|当前+DTS+在+MySQL/MariaDB//Percona/TDSQL-C+MySQL/TDSQL+MySQL/TDSQL+TDStore+之间的数据迁移中，默认使用无锁迁移。无锁迁移指对源库不加全局锁（FTWRL），仅对无主键的表加表锁。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

MySQL 迁移过程中是否会加锁？

blocks|key|2eoo2|type|unstyled|text|支持，但是建议用户选择有主键校验的表，无主键的表也可以发起任务，但是会造成以下影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持迁移无主键的表？

blocks|key|fn8ov|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|apkh8|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|5h53s|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|4saed|type|unstyled|text|支持，新版本+DTS+支持对用户的权限进行迁移，具体操作请参考+账号迁移。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/65702^0|0|W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|cds29|type|unstyled|text|收费链路和具体收费标准请参见+计费概述。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/18736^0|0|F|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

blocks|key|2fmnr|type|unstyled|text|退费仅对以包年包月形式购买的实例，以按量计费形式购买的实例，因为本身是后付费形式，无法申请退款。对包年包月实例进行退费时，每个主体默认享有1次5天内无理由全额退款，其余退款申请按照非全额退款处理。具体请参见+退费说明。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/40536^0|0|2W|4^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$1|L|A|M|B|N]]]]|C|$D|$3|E|F|G|H|$I|J]]]]

支持退费吗？

blocks|key|orsd|type|unstyled|text|子用户一般没有支付+DTS+包年包月实例的权限，在提交订单时出现如下提示，需要主账号来支付订单。n|depth|inlineStyleRanges|entityRanges|cn5bh|请参考+授权子用户财务权限，授权子用户支付包年包月实例的权限。|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://cloud.tencent.com/document/product/571/74020^0|0|0|4|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]]|$1|A|3|4|5|B|7|N|8|@]|9|@$1|O|C|P|D|Q]]]]|E|$F|$3|G|H|I|J|$K|L]]]]

blocks|key|89bgp|type|unstyled|text|使用+DTS+进行数据同步对目标库没有影响，不需要目标库为空。DTS+支持检测源库和目标库是否有同名对象，并支持在发生同名对象冲突时按照设置的策略进行处理，将任务报错提醒用户，或者忽略报错继续任务。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5jsc9|type|unstyled|text|不支持。同一个类型的数据库，目标实例的大版本必须不小于源实例。以+MySQL+实例为例，不支持+MySQL+5.7+的实例同步到+MySQL+5.6。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|b0bsq|type|unstyled|text|可以。可以将云上的数据库同步到云下，接入方式支持公网、云联网等。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

源/目标能否为云下实例？

blocks|key|85njv|type|unstyled|text|不可以。创建同步实例时，只能允许其中一个实例进行+DDL+同步，否则检测算法检测到+DDL+循环，会禁止其中一个实例的创建。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1e3aa|type|unstyled|text|当前技术方案采用在事务中打上路由信息来标记事务的来源，依赖于事务的原子性。基于非事务引擎的库表，会破坏了事务的原子性，无法保证数据一致，不建议用户使用。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

是否支持非事务引擎？

blocks|key|5bs3b|type|unstyled|text|支持。选择需要修改的同步任务，通过操作+>+修改同步配置，可以修改同步任务配置。|depth|inlineStyleRanges|entityRanges|9vdq7|可支持增加/删除同步对象、修改主键冲突策略、SQL+同步策略等。修改同步配置时，已有的同步任务不会暂停，也不会受影响。更多详情请参考+。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|1fk6v|type|unordered-list-item|text|排查网络问题，Kafka+服务器地址为腾讯云内网地址，只能在腾讯云与订阅实例相同地域的私有网络内访问。|depth|inlineStyleRanges|entityRanges|5igq1|排查订阅+topic、内网地址、消费组名称、帐号、密码等是否正确。可在+数据订阅控制台+单击订阅名进入订阅详情页和消费管理页查看。|offset|length|66uf4|排查加密参数是否正确，参见+Kafka+使用何种认证机制。|entityMap|0|LINK|mutability|MUTABLE|data|url|https://console.cloud.tencent.com/dts/dss|1|https://cloud.tencent.com/document/product/571/53454#faq3^0|0|0|10|7|0|1|E|E^^$0|@$1|2|3|4|5|6|7|Q|8|@]|9|@]]|$1|A|3|4|5|B|7|R|8|@]|9|@$1|S|C|T|D|U]]]|$1|E|3|4|5|F|7|V|8|@]|9|@$1|W|C|X|D|Y]]]]|G|$H|$3|I|J|K|L|$M|N]]|O|$3|I|J|K|L|$M|P]]]]

为什么我消费不到数据？

blocks|key|bmucr|type|unstyled|text|数据订阅+Kafka+版使用+Protobuf+进行序列化。Protobuf+协议文件可在+此处+下载，Demo+工程中也包含了协议文件，具体请参考+生产和消费逻辑讲解。|depth|inlineStyleRanges|entityRanges|offset|length|entityMap|0|LINK|mutability|MUTABLE|data|url|https://subscribesdk-1254408587.cos.ap-beijing.myqcloud.com/subscribe.proto|1|https://cloud.tencent.com/document/product/571/52381#dgxljjj^0|0|1A|2|1|23|9^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@$1|N|A|O|B|P]|$1|Q|A|R|B|S]]]]|C|$D|$3|E|F|G|H|$I|J]]|K|$3|E|F|G|H|$I|L]]]]

数据格式是怎么样的?

blocks|key|468g3|type|unstyled|text|如下所示：|depth|inlineStyleRanges|entityRanges|5cp6l|atomic|[83aa8f6122ee106f57568b6f25a1bd08.png]|offset|length|entityMap|0|IMAGE|mutability|IMMUTABLE|data|imageUrl|https://main.qcloudimg.com/raw/83aa8f6122ee106f57568b6f25a1bd08.png|name^0|0|0|0|12^^$0|@$1|2|3|4|5|6|7|O|8|@]|9|@]]|$1|A|3|B|5|C|7|P|8|@]|9|@$1|Q|D|R|E|S]]]]|F|$G|$3|H|I|J|K|$L|M|N|-3]]]]

blocks|key|3qpqg|type|unstyled|text|首先请将+Kafka+的+enable_auto_commit+参数设置为+false，以关闭自动+commit。生产者会在消息序列中的合适位置插入+Checkpoint+消息，消费者消费到+Checkpoint+消息后进行+commit，这样有利于保证消息的完整性。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

何时进行 Kafka commit?

blocks|key|98g27|type|unstyled|text|服务端消息保留1天。可以根据需要配置+Kafka+的+auto_offset_reset+参数为+earliest+或者+latest。如果需要从具体的+offset+开始消费，则可以利用+Kafka+Client+提供的+seek+功能，重新设置消费+offset。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|f3h17|type|unstyled|text|不支持，同一个通道最多只能有一个+SDK+连接并消费数据，如果用户有多个下游需要订阅同一个库表，可以通过建立多个通道来解决。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|be2v7|type|unstyled|text|支持，一个+SDK+可以同时消费多个通道。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|8b8k1|type|unstyled|text|一个通道只能有一个+SDK+连接消费，如果新增连接，就会报这个错误。这时需确认程序是否完全退出，若确认完之后重连还是报同样的错误，可以将重启时间的间隔稍微加长一点，例如：20秒。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|ff9li|type|unstyled|text|数据订阅可以订阅的增量数据包括：所有的增删改（+DML+）以及结构变更（+DDL+）。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1se3a|type|unstyled|text|可以，如果数据订阅只订阅数据变更，那么两边索引不同不会影响。如果订阅了结构变更，而且+TencentDB+实例上涉及到索引变更的话，可能会由于两边索引不同，导致结构变更在本地消费失败。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|e4348|type|unstyled|text|修改位点报错时，界面上有相应的提示。一般是由于订阅通道还有下游在消费，可以先到+DTS+控制台查看消费来源+IP，查看是否还有下游+SDK+在消费数据，如果有，那么需要先停止下游消费后，重新修改消费位点。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1qd81|type|unstyled|text|在有数据写入的情况（+或者还有数据没有消费完+），如果数据正常消费，那么控制台上的消费位点就会正常迁移。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|636bj|type|unstyled|text|当+SDK+有+message+没有+ACK+时，SDK+会持续拉取消息直到+SDK+内的缓存塞满，SDK+不再获取新消息。此时，服务端保存的消费位点为未+ACK+之前的最后一条+message+的位点。|depth|inlineStyleRanges|entityRanges|7hvam|当+SDK+重启时，为了保证消息不丢，服务端会从未+ACK+前一条+message+对应的位点开始重新推送数据，所以+SDK+此时会重复收取一部分消息。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|7kgbq|type|unstyled|text|数据订阅通道中保留数据的时间范围为1天，从当前时间-1天，当天时间，订阅通道会删除过期数据。所以如果上次+SDK+退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道有效数据范围内，那么就不能订阅到这个消费位点对应的数据。为修复这个问题，在启动+SDK+之前，需要先修改消费位点，确保消费位点在有效数据范围内。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|5efv8|type|unstyled|text|这种情况，比较大可能是+SDK+代码中没有调用+ackAsConsumed+接口汇报消费位点导致的。由于+SDK+内部设置了有限缓存空间，如果不调用+ackAsConsumed+汇报位点，那么这缓存空间数据就不会删除，当缓存满时，就不能拉取新的数据，就会出现+SDK+卡住不能订阅数据现象。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|2jeu|type|unstyled|text|不会，根据用户指定的消费位点或者上次确认消费的位点，服务端会搜索这个消费位点对应的完整事务的起始位置，从整个事务头部的开始，向下游+SDK+传输数据，所以可以保证接收到完整的事务内容。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|co62b|type|unstyled|text|不会有问题，TencentDB+实例发生主备切换/重启时，数据订阅会自动切换，这个过程对+SDK+来说是透明的。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|1r9qb|type|unstyled|text|需要确认输入的参数是否匹配，ip、+port、+secretId、+secretKey、+channelId+是否匹配。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|fr96q|type|unstyled|text|子账号默认没有任何权限，需要根账号给子账号赋予+name/dts:AuthenticateSubscribeSDK+操作的权限，或者赋予+DTS+所有操作的权限+QcloudDTSFullAccess。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3752t|type|unstyled|text|不可以，目前一个数据订阅实例只能订阅一个+TencentDB+实例。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bfnk7|type|unstyled|text|选一个配置更好一点的宿主机，单个+SDK+在高速平稳运行时，消耗+CPU+资源小于1核，内存占用小于1.5GB。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|3nnsb|type|unstyled|text|英文句号+.+是元字符的最简单的例子。元字符+.+可以匹配任意单个字符。它不会匹配换行符和新行的字符。例如正则表达式+.ar，表示:+任意字符后面跟着一个字母+a，再后面跟着一个字母+r。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

英文句号

blocks|key|fgj54|type|unstyled|text|字符集也称为字符类。方括号被用于指定字符集。使用字符集内的连字符来指定字符范围。方括号内的字符范围的顺序并不重要。|depth|inlineStyleRanges|entityRanges|3f6r7|例如正则表达式+Tthe，表示:+大写+T+或小写+t+，后跟字母+h，再后跟字母+e。|40b6v|然而，字符集中的英文句号表示它字面的含义。正则表达式+ar.，表示小写字母+a，后面跟着一个字母+r，再后面跟着一个英文句号+.+字符。|c0ec5|一般来说插入字符+%5E+表示一个字符串的开始，但是当它在方括号内出现时，它会取消字符集。例如正则表达式+%5Ecar，表示:+除了字母+c+以外的任意字符，后面跟着字符+a，再后面跟着一个字母+r。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

字符集

blocks|key|1ek5|type|unstyled|text|以下元字符+%2B，*+或+?+用于指定子模式可以出现多少次。这些元字符在不同情况下的作用不同。|depth|inlineStyleRanges|entityRanges|f1it2|该符号++表示匹配上一个匹配规则的零次或多次。正则表达式+a+表示小写字母+a+可以重复零次或者多次。但是它如果出现在字符集或者字符类之后，它表示整个字符集的重复。|offset|length|style|ITALIC|4p47f|例如正则表达式+a-z*，表示：一行中可以包含任意数量的小写字母。|sfrl|该++符号可以与元符号+.+用在一起，用来匹配任意字符串+.。该+*+符号可以与空格符+\s+一起使用，用来匹配一串空格字符。|b99mh|例如正则表达式+\scat\s，表示：零个或多个空格，后面跟小写字母+c，再后面跟小写字母+a，再往后面跟小写字母+t，后面再跟零个或多个空格。|42gl|该符号+%2B+匹配上一个字符的一次或多次。例如正则表达式+c.%2Bt，表示：一个小写字母+c，后跟任意数量的字符，后跟小写字母+t。|6bvl9|在正则表达式中，元字符+?+用来表示前一个字符是可选的。该符号匹配前一个字符的零次或一次。|8k2ed|例如正则表达式+T?he，表示：可选的大写字母+T，后面跟小写字母+h，后跟小写字母+e。|entityMap|data|mutability^0|0|4|Q|0|0|2|S|0|A|5|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@$C|X|D|Y|E|F]]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@$C|11|D|12|E|F]]|9|@]]|$1|K|3|4|5|L|7|13|8|@$C|14|D|15|E|F]]|9|@]]|$1|M|3|4|5|N|7|16|8|@]|9|@]]|$1|O|3|4|5|P|7|17|8|@]|9|@]]|$1|Q|3|4|5|R|7|18|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

重复

blocks|key|2nhdn|type|unstyled|text|在正则表达式中花括号（也被称为量词）用于指定字符或一组字符可以重复的次数。例如正则表达式+0-9{2,3}，表示:+匹配至少2位数字但不超过3位(0到9范围内的字符)。|depth|inlineStyleRanges|entityRanges|gc6l|我们可以省略第二个数字。例如正则表达式+0-9{2,}，表示:+匹配2个或更多个数字。如果我们也删除逗号，则正则表达式+0-9{2}，表示:+匹配正好为2位数的数字。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

花括号

blocks|key|6499q|type|unstyled|text|字符组是一组写在圆括号内的子模式+(...)。正如我们在正则表达式中讨论的那样，如果我们把一个量词放在一个字符之后，它会重复前一个字符。|depth|inlineStyleRanges|entityRanges|c577r|但是，如果我们把量词放在一个字符组之后，它会重复整个字符组。|hcq9|例如正则表达式+(ab)*+表示匹配零个或多个的字符串+"ab"。我们还可以在字符组中使用元字符+%7C。例如正则表达式+(c%7Cg%7Cp)ar，表示:+小写字母+c、g+或+p+后面跟字母+a，后跟字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

字符组

blocks|key|f7a22|type|unstyled|text|在正则表达式中垂直条+%7C+用来定义分支结构，分支结构就像多个表达式之间的条件。现在您可能认为这个字符集和分支机构的工作方式一样。|depth|inlineStyleRanges|entityRanges|1htcn|但是字符集和分支结构巨大的区别是字符集只在字符级别上有作用，然而分支结构在表达式级别上依然可以使用。|fop1|例如正则表达式+(T%7Ct)he%7Ccar，表示:+大写字母+T+或小写字母+t，后面跟小写字母+h，后跟小写字母+e+或小写字母+c，后跟小写字母+a，后跟小写字母+r。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

分支结构

blocks|key|750fi|type|unstyled|text|正则表达式中使用反斜杠+\+来转义下一个字符。这将允许您使用保留字符来作为匹配字符+{+}+++/+\+%2B+*+.+$+%5E+%7C+?。在特殊字符前面加+\，就可以使用它来做匹配字符。|depth|inlineStyleRanges|entityRanges|3egr8|例如正则表达式+.+是用来匹配除了换行符以外的任意字符。现在要在输入字符串中匹配+.+字符，正则表达式+(f%7Cc%7Cm)at.?，表示:+小写字母+f、c+或者+m+后跟小写字母+a，后跟小写字母+t，后跟可选的+.+字符。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

转义特殊字符

blocks|key|crt65|type|unstyled|text|在正则表达式中，为了检查匹配符号是否是起始符号或结尾符号，我们使用定位符。|depth|inlineStyleRanges|entityRanges|f5ldi|定位符有两种类型:+第一种类型是+%5E+检查匹配字符是否是起始字符，第二种类型是+$，它检查匹配字符是否是输入字符串的最后一个字符。|6493a|插入符号+%5E+符号用于检查匹配字符是否是输入字符串的第一个字符。如果我们使用正则表达式+%5Ea+(如果a是起始符号)匹配字符串+abc，它会匹配到+a。|7a7cf|但是如果我们使用正则表达式+%5Eb，它是匹配不到任何东西的，因为在字符串+abc+中+"b"+不是起始字符。|182pu|让我们来看另一个正则表达式+%5E(T%7Ct)he，这表示:+大写字母+T+或小写字母+t+是输入字符串的起始符号，后面跟着小写字母+h，后跟小写字母+e。|a9m9p|美元+$+符号用于检查匹配字符是否是输入字符串的最后一个字符。例如正则表达式+(at.)$，表示:+小写字母+a，后跟小写字母+t，后跟一个+.+字符，且这个匹配器必须是字符串的结尾。|6rhl3|正则表达式为常用的字符集和常用的正则表达式提供了简写。简写字符集如下:|5hug7|后行断言和先行断言有时候被称为断言，它们是特殊类型的非捕获组+(用于匹配模式，但不包括在匹配列表中)。当我们在一种特定模式之前或者之后有这种模式时，会优先使用断言。|8eb9v|例如，我们想获取输入字符串+$4.44+and+$10.88+中+$+字符之前的所有数字。我们可以使用这个正则表达式+(?<=\$)0-9.*，表示:+获取+$+字符之前的所有的数字包含+.+字符。|2ftvb|以下是正则表达式中使用的断言:|entityMap|data|mutability^0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|V|8|@]|9|@]]|$1|A|3|4|5|B|7|W|8|@]|9|@]]|$1|C|3|4|5|D|7|X|8|@]|9|@]]|$1|E|3|4|5|F|7|Y|8|@]|9|@]]|$1|G|3|4|5|H|7|Z|8|@]|9|@]]|$1|I|3|4|5|J|7|10|8|@]|9|@]]|$1|K|3|4|5|L|7|11|8|@]|9|@]]|$1|M|3|4|5|N|7|12|8|@]|9|@]]|$1|O|3|4|5|P|7|13|8|@]|9|@]]|$1|Q|3|4|5|R|7|14|8|@]|9|@]]]|S|$T|-4|U|-4|3|-4]]

定位符

blocks|key|fgeto|type|unstyled|text|正向先行断言认为第一部分的表达式必须是先行断言表达式。返回的匹配结果仅包含与第一部分表达式匹配的文本。|depth|inlineStyleRanges|entityRanges|381nd|要在一个括号内定义一个正向先行断言，在括号中问号和等号是这样使用的+(?=...)。先行断言表达式写在括号中的等号后面。|9bl0u|例如，正则表达式+(T%7Ct)he(?=\sfat)，表示:+匹配大写字母+T+或小写字母+t，后面跟字母+h，后跟字母+e。|dddlm|在括号中，我们定义了正向先行断言，它会引导正则表达式引擎匹配+The+或+the+后面跟着+fat。|entityMap|data|mutability^0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]]|$1|A|3|4|5|B|7|K|8|@]|9|@]]|$1|C|3|4|5|D|7|L|8|@]|9|@]]|$1|E|3|4|5|F|7|M|8|@]|9|@]]]|G|$H|-4|I|-4|3|-4]]

正向先行断言

blocks|key|3in04|type|unstyled|text|当我们需要从输入字符串中获取不匹配表达式的内容时，使用负向先行断言。负向先行断言的定义跟我们定义的正向先行断言一样，|depth|inlineStyleRanges|entityRanges|1ulbc|唯一的区别是不是等号+=，我们使用否定符号+!，例如+(?!...)。|adlg|我们来看下面的正则表达式+(T%7Ct)he(?!\sfat)，表示:+从输入字符串中获取全部+The+或者+the+且不匹配+fat+前面加上一个空格字符。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

负向先行断言

blocks|key|9sb0r|type|unstyled|text|正向后行断言是用于获取在特定模式之前的所有匹配内容。正向后行断言表示为+(?<=...)。例如正则表达式+(?<=(T%7Ct)he\s)(fat%7Cmat)，表示:+从输入字符串中获取在单词+The+或+the+之后的所有+fat+和+mat+单词。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

正向后行断言

blocks|key|1nf4t|type|unstyled|text|负向后行断言是用于获取不在特定模式之前的所有匹配的内容。负向后行断言表示为+(?<!...)。例如正则表达式+(?<!(T%7Ct)he\s)(cat)，表示:+在输入字符中获取所有不在+The+或+the+之后的所有单词+cat。|depth|inlineStyleRanges|entityRanges|hsun|标记也称为修饰符，因为它会修改正则表达式的输出。这些标志可以以任意顺序或组合使用，并且是正则表达式的一部分。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

负向后行断言

blocks|key|66sfu|type|unstyled|text|i+修饰符用于执行不区分大小写匹配。例如正则表达式+/The/gi，表示:+大写字母+T，后跟小写字母+h，后跟字母+e。|depth|inlineStyleRanges|entityRanges|bhri5|但是在正则匹配结束时+i+标记会告诉正则表达式引擎忽略这种情况。正如您所看到的，我们还使用了+g+标记，因为我们要在整个输入字符串中搜索匹配。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

不区分大小写

blocks|key|5210j|type|unstyled|text|g+修饰符用于执行全局匹配+(会查找所有匹配，不会在查找到第一个匹配时就停止)。|depth|inlineStyleRanges|entityRanges|brvf8|例如正则表达式+/.(at)/g，表示:+除换行符之外的任意字符，后跟小写字母+a，后跟小写字母+t。|e2s64|因为我们在正则表达式的末尾使用了+g+标记，它会从整个输入字符串中找到每个匹配项。|entityMap|data|mutability^0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]]|$1|A|3|4|5|B|7|I|8|@]|9|@]]|$1|C|3|4|5|D|7|J|8|@]|9|@]]]|E|$F|-4|G|-4|3|-4]]

全局搜索

blocks|key|f6t4a|type|unstyled|text|m+修饰符被用来执行多行的匹配。正如我们前面讨论过的+(%5E,+$)，使用定位符来检查匹配字符是输入字符串开始或者结束。但是我们希望每一行都使用定位符，所以我们就使用+m+修饰符。|depth|inlineStyleRanges|entityRanges|f7jpo|例如正则表达式+/at(.)?$/gm，表示:+小写字母+a，后跟小写字母+t，匹配除了换行符以外任意字符零次或一次。而且因为+m+标记，现在正则表达式引擎匹配字符串中每一行的末尾。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

多行匹配

blocks|key|2r51|type|unstyled|text|不会，DTS+进行数据迁移时，其实是复制了源数据库的一份数据，并不会对源数据库的数据有任何影响。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|rjal|type|unstyled|text|支持，您可以创建+DTS+后，在修改配置时将选择定时执行的选项，并配置定时迁移时间。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|871s1|type|unstyled|text|数据增量迁移服务目前使用的是就近代理服务器接入，通过内网专线降低了走公网的抖动问题，确保了数据传输的质量，15天的设置是为了能有效降低代理的服务器的连接压力，如果超过15天，现有阶段并不会进行强制断开，只是从合理使用迁移资源出发做了时间设置规定。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|bikdg|type|unstyled|text|因为迁移过程会有导入冷备阶段，我们会关闭+binlog+来提升写入性能，所以会有部分内容缺少，如果要实现内容不缺失，需要首先建立迁移，确保目标实例已经进入同步中后，然后再对目标实例设置订阅功能。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|b8shj|type|unstyled|text|数据校验需要在源实例中创建新库+tencentdb，并在该库下写入+CheckSum+表，在该实例只读时将会跳过数据校验阶段。|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|entityMap|data|mutability^0|G|9^^$0|@$1|2|3|4|5|6|7|H|8|@$9|I|A|J|B|C]]|D|@]]]|E|$F|-4|G|-4|3|-4]]

blocks|key|e72bt|type|unstyled|text|设置+binlog_format+为+row+后，需重置当前数据库上的所有业务连接（当源库在从机时，还需重置主从同步+SQL+线程），避免当前业务连接继续使用老格式写入。|depth|inlineStyleRanges|entityRanges|35m1c|在上述操作未结束之前，请不要创建或者启动迁移任务，避免产生数据不一致。|entityMap|data|mutability^0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]]|$1|A|3|4|5|B|7|G|8|@]|9|@]]]|C|$D|-4|E|-4|3|-4]]

blocks|key|4vc91|type|unstyled|text|如果源实例涉及了+Toku+引擎，我们会在迁移时默认转成+InnoDB，然后+Cluster+Index+和+TokuDB+的压缩特性的表需要提前做处理，目前迁移不支持，另外对+Toku+引擎的+DDL+操作也是迁移不支持。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|7gnei|type|unstyled|text|因为我们的全量检测是需要对+session+进行+binlog+格式的设置，这个是需要+super+权限的，需要对迁移账号增加+super+权限授权。|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

blocks|key|6ngss|type|unstyled|text|TokuDB+有两种情况不支持转换到+InnoDB：源实例存在+TokuDB+压缩特性的表，或者存在+cluster+index+特性的表。n|depth|inlineStyleRanges|entityRanges|entityMap|data|mutability^0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]]]|A|$B|-4|C|-4|3|-4]]

数据传输服务

数据库

数据仓库

Kafka

云数据库

关系型数据库

NoSQL

数据挖掘

云迁移

数据一致性

数据流

服务器

另外如果订阅整库的话，后续新增的表也是会在原有订阅通道出现，不需要对原订阅通道进行新增配置操作。数据订阅目前支持的字符集包括 latin1，utf8，utf8mb4。安装 Kafka // 从云API获取密钥,填写到此处 final String TOPIC = "testtop"; 请填写 你从云API获取的secretKey. // 在数据迁移服务里面通过数据订阅获取到对应的ip,port,填写到此处 context.setServiceIp("10.66.112.181"); 请填写你从数据订阅获取的通道dts的名称。

数据订阅暂不支持view，触发器和外键。
数据订阅初次配置需要对相关 binlog_row_image 参数做调整，会根据符合条件自动 kill 老的 session 使参数立即生效。 数据订阅目前支持的字符集包括 latin1，utf8，utf8mb4。
本文将以一个简单案例来说明数据订阅中拉取对应表到 Kafka 的功能，并且提供简易 KaflkaDemo下载 。 选择数据订阅
登录 数据传输DTS控制台，选择左侧的【数据订阅】，进入数据订阅页面。
选择需同步的 CDB 实例名，然后点击启动，再返回数据订阅，点击你所创建的数据订阅。 通过数据迁移订阅的配置选项获取到dts-channel的配置信息,填写到此处. client.askForGUID("dts-channel-e4FQxtYV3It4test"); 请填写你从数据订阅获取的通道 ，发现在 Kafka 订阅的 testtop 里面能看到已经有数据过来了。

数据订阅案例

我们会通过模拟从库向主库获取对应 binlog 内容进行分析，大概架构图如下,我们会通过解析 binlog ,按照订阅通道配置的库表进行分析，所以几乎对主库没有影响。


数据订阅案例

MySQL查找重复数据，删除重复数据
数据库版本 Server version: 5.1.41-community-log MySQL Community Server (GPL)
例1，表中有主键( /* 查找所有重复数据 */SELECT `t1`.   | 963 || 21 | wer  | 546 || 22 | wer  | 546 |+----+------+-----+14 rows in set (0.00 sec)
查找除id最小的数据外的重复数据 /* 查找除id最小的数据外的重复数据 */SELECT `t1`. ，记得删除完数据把id字段也删除了
删除重复数据，只保留一条数据
/* 删除重复数据，只保留一条数据 */DELETE FROM `noid`USING `noid`,(SELECT DISTINCT

MySQL 中查找重复数据，删除重复数据

数据库版本 Server version: 5.1.41-community-log MySQL Community Server (GPL)

MySQL 中查找重复数据，删除重复数据

工作中，发现Oracle数据库表中有许多重复的数据，而这个时候老板需要统计表中有多少条数据时（不包含重复数据），只想说一句MMP，库中好几十万数据，肿么办，无奈只能自己在网上找语句，最终成功解救，下面是我一个实验 假设有一张人员信息表cs（姓名，证件号，地址），将表中三个字段数据都重复的数据筛选出来：

distinct:这个关键字来过滤掉多余的重复数据只保留一条数据
select * from from cs   ------所有字段
select distinct xm,zjh,dz from cs;  -----指定字段

在实践中往往只用它来返回不重复数据的条数，因为distinct对于一个数据量非常大的库来说 、删除重复数据的方法如下：↓    ↓    ↓   ↓   ↓   ↓   ↓   ↓
①rowid用法： oracle带的rowid属性,进行判断是否存在重复数据。 查询重复数据：
select a.* from cs a where rowid !

Oracle数据库查询重复数据及删除重复数据方法

工作中，发现Oracle数据库表中有许多重复的数据，而这个时候老板需要统计表中有多少条数据时（不包含重复数据），只想说一句MMP，库中好几十万数据，肿么办，无奈只能自己在网上找语句，最终成功解救，下面是我一个实验，很好理解。 

Oracle数据库查询重复数据及删除重复数据方法

利用Zookeeper实现 - 数据发布订阅。介绍：Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。public class MysqlConfig { 最开始，将Zookeeper上节点的配置信息初始化为 test 数据库的连接信息，然后启动 N 个线程(模拟应用程序)，读取连接信息并查询数据，同时设置监听节点；

数据发布/订阅
所谓的数据发布/订阅，意思是发布者将数据发布到Zookeeper上的一个或一系列节点上，通过watcher机制，客户端可以监听(订阅)这些数据节点，当这些节点发生变化时，Zookeeper 及时地通知客户端，从而达到动态获取数据的目的。 这些连接信息将转化为JSON字符串，保存在Zookeeper上的一个节点中；应用程序(通过线程模拟的)从Zookeeper中读取这些配置信息，然后查询数据库；当修改数据库连接信息时(切换数据库)，应用程序能及时的拉取新的连接信息 ，使用新的连接查询数据库。 ，重新查询数据库。

利用Zookeeper实现 - 数据发布订阅

所谓的数据发布/订阅，意思是发布者将数据发布到Zookeeper上的一个或一系列节点上，通过watcher机制，客户端可以监听(订阅)这些数据节点，当这些节点发生变化时，Zookeeper及时地通知客户端，从而达到动态获取数据的目的。

利用Zookeeper实现 - 数据发布订阅

数据重复问题是物联网（IoT）系统中常见的问题，特别是在设备端和网络传输过程中。 两个场景：
设备本身数据重复
网络异常导致 MQTT 传输重复
下面是针对这两个问题的详细解决方案建议：
✅ 一、设备本身数据重复
 原因分析：
设备传感器采样频率过高或逻辑错误，导致短时间内发送相同数据 设置最小上报间隔
即使数据变化，也要控制最低发送频率（例如每30秒最多发一次），避免频繁重复上报。
可以结合时间戳判断。
3. ✅ 二、网络异常导致 MQTT 传输重复
 原因分析：
网络不稳定，MQTT QoS > 0 时会尝试重传。
Broker 没有及时确认收到消息，客户端再次发送。 使用压缩算法减少带宽
高并发	使用异步处理、批量写入数据库
多设备	增加设备心跳机制，识别非法重复

如果你能提供具体的数据格式、MQTT客户端类型（如ESP32、树莓派等）、使用的语言/框架（如Python

IOT数据重复问题

数据重复问题是物联网（IoT）系统中常见的问题，特别是在设备端和网络传输过程中。
 两个场景：

数据订阅可能会收到重复数据吗？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐