在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用时候数据的一致性？ 具体业务场景如下，比如一个业务操作，如果同时调用服务 A、B、C，需要满足要么同时成功；要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。 在分布式系统来说，如果不想牺牲一致性，CAP 理论告诉我们只能放弃可用性，这显然不能接受。为了便于讨论问题，先简单介绍下数据一致性的基础理论。 强一致 当更新操作完成之后，任何多个后续进程或者线程的访问都会返回最新的更新过的值。这种是对用户最友好的，就是用户
腾讯云提供了数据库迁移工具DTS， 使用DTS做数据库迁移时，DTS工具在迁移任务结束后，会做数据校验。
随着企业规模的扩大，对数据库可用性要求越来越高，更多企业采用两地三中心、异地多活的架构，以提高数据库的异常事件应对能力。 在数据库领域，我们常听的“两地三中心”、“异地多活”到底是什么呢？ “两地三中心”就是生产数据中心、同城灾备中心、异地灾备中心。这种模式下，两个地域的三个数据中心互联互通，当一个数据中心发生异常，其他数据中心可以正常运行并进行业务接管。 “异地多活”就是在多个地域建设多个数据中心， 业务数据能够在三个及以上的数据中心之间进行双向同步。异地多活架构具有更高的可用性，抗风险能力极强。 不
在一个数据为王时代，数据安全视为一家企业命根子，因此如何保障企业数据安全尤为重要。本文主要从数据库容灾方案视角，基于当前客户业务并结合技术&产品，制定最佳容灾方案。主要从以下三个方面来介绍：
传统事务是使用数据库自身的事务属性（ACID），而数据库自身的事务属性是局限于当前实例，不能实现跨库。而对于大型分布式/微服务集群系统中，不仅存在着跨库的事务，还存在很多不同系统/服务之间的RPC调用，这种调用往往也需要保证业务以及数据的一致性。因此，有必要使用一种分布式事务框架来协调整个端到端业务调用链路的应用和数据库来保证业务最终的数据一致性，而目前在分布式事务中用的比较多的即为基于所有服务参与者投票的二阶段协议（2PC）。
井显生，2019年加入去哪儿，现负责国内机票出票、退款、改签核心业务。在领域驱动设计(DDD)、高并发有大量实践经验。
近日，腾讯云数据库TDSQL 、数据库迁移平台DTS-DBbridge与巨杉数据库SequoiaDB完成产品兼容性认证。
小红书是一个社区属性为主的产品，它涵盖了各个领域的生活社区，并存储海量的社交网络关系。
前文提到异地多活的几种型态和基于OceanBase实现方案。这里再总结一下基于其他分布式数据库（MySQL）实现异地多活时要考虑的点。本文不讨论为什么做异地多活，可以参考末尾的文章。
随着IT技术与大数据的不断发展，越来越多的企业开始意识到数据的价值，通过大数据分析，可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用，成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓，将多个数据源通过数据集成技术，汇集一起进行数据分析。由此，数据集成成为了构建数据湖仓的必经之路，然而企业在数据集成过程中却面临很多棘手问题。
说MVCC(Multiversion concurrency control，多版本并发控制)之前，先从数据库的ACID说起。ACID其中一个就是I。也就是Isolation，隔离性。
近日，腾讯云数据库TDSQL 、数据库迁移平台DTS-DBbridge已与巨杉数据库SequoiaDB完成产品兼容性认证。测试结果表明，通过DTS-DBbridge可以将巨杉数据库的常规表、分区表、主子表等表库的数据顺利迁移到TDSQL，数据同步到TDSQL后兼容性良好，数据一致性校验符合预期，整体业务运行稳定，安全可靠。
作者：clareguo，腾讯 CSIG 后台开发工程师 到底是更新缓存还是删除缓存? 到底是先更新数据库，再删除缓存，还是先删除缓存，再更新数据库? 1 引言 对于互联网业务来说，传统的直接访问数据库
考虑支付重构的时候，自然想到原本属于一个本地事务中的处理，现在要跨应用了要怎么处理。拿充值订单举个栗子吧，假设：原本订单模块和账户模块是放在一起的，现在需要做服务拆分，拆分成订单服务，账户服务。原本收到充值回调后，可以将修改订单状态和增加金币放在一个mysql事务中完成的，但是呢，因为服务拆分了，就面临着需要协调2个服务才能完成这个事务
导语 | 到底是更新缓存还是删除缓存? 到底是先更新数据库，再删除缓存，还是先删除缓存，再更新数据库？本文主要介绍了在不同场景下保证数据缓存一致性的相关策略。 引言 对于互联网业务来说，传统的直接访问
DTS 作为数据交互引擎，以其高效的实时数据流处理能力和广泛的数据源兼容性，为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。云数据库 SelectDB 通过与 DTS 联合，为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务，一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库，迁移或同步至云数据库 SelectDB 的实例中，帮助企业在短时间内完成数据迁移或同步，并即时获得深度洞察。
严格遵守ACID的分布式事务我们称为刚性事务，而遵循BASE理论（基本可用：在故障出现时保证核心功能可用，软状态：允许中间状态出现，最终一致性：不要求分布式事务打成中时间点数据都是一致性的，但是保证达到某个时间点后，数据就处于了一致性了）的事务我们称为柔性事务，其中TCC编程模式就属于柔性事务，本文我们来阐述其理论。
来源：juejin.im/post/5baa54e1f265da0ac2566fb2
近期，ArchSummit 全球架构师峰会（以下简称：AS峰会）北京站圆满落幕。AS峰会是极客邦科技旗下 InfoQ 中国团队推出的重点面向高端技术管理者、架构师的技术会议。AS峰会北京站以“升级架构思维，支撑业务发展”为目标，邀请各厂商展示先进技术在行业中的典型实践，以及技术在企业转型、发展中的推动作用。在此次AS峰会上，腾讯云数据库专家团亮相“云数据库的架构设计与技术演进”专场，由腾讯云数据库专家工程师伍鑫担任专场出品人。 数据库作为基础软件的三驾马车之一，是IT行业的必争之地。云时代下，云原生技术和数
作者 | stone-no1 来源 | https://blog.csdn.net/weixin_38071106/article/details/88547660 Canal 定位：基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。 原理： canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议 mysql master收到dump请求，开始推送binary log给slave(也就是canal) canal解
企业业务敏感程度差异，对容灾指标RPO&RTO要求也不同。之前两篇文章主要介绍数据冷备，主要特点是数据备份存储非实时，备份系统存储数据通常昨天的数据，当灾难真正来临的时候，今天新产生的数据会丢失情况。对于企业核心业务来讲，业务恢复（RTO）可以接受小时级别，但是对于数据无法接受丢失，即RPO接近为“零”。结合腾讯云数据备份能力，本文重点介绍数据热备解决方案，旨在让客户上好云，用好云，管好云。
业务系统通常使用数据库（如MySQL）来存储持久化数据，并使用缓存（如Redis）来提升系统的性能。同时使用数据库和缓存，有一个老生常谈的问题，就是缓存与数据库一致性的问题。
在星爷的《大话西游》中有一句非常出名的台词：“曾经有一份真挚的感情摆在我的面前我没有珍惜，等我失去的时候才追悔莫及，人间最痛苦的事莫过于此，如果上天能给我一次再来一次的机会，我会对哪个女孩说三个字：我爱你，如果非要在这份爱上加一个期限，我希望是一万年！”在我们开发人员的眼中，这个感情就和我们数据库中的数据一样，我们多希望他一万年都不改变，但是往往事与愿违，随着公司的不断发展，业务的不断变更，我们对数据的要求也在不断的变化，大概有下面的几种情况：
业界对于库存敏感的业务往往通过数据库进行库存方案的设计，那么基于数据库库存系统会有哪些坑呢？
免费、零停机、高性能的数据库迁移服务DBMotion今天正式对外发布，支持MySQL的结构、全量、增量迁移和数据校验功能。
本文主要介绍中小型互联网企业，从本地机房迁移数据库到腾讯云的实践方法。其中包含了详细数据库迁移的方法和步骤，并且增加了实践演练和验证。实践与验证部分内容以常见的 Discuz! 论坛迁移上云做为案例。
从事音视频开发中，视频涉及的东西比较多，尤其是编码这块，本篇介绍下视频的相关概念。
但是缓存淘汰了以后，主库还没有同步到从库，又有一个读请求，把旧的数据读到缓存，也会造成不一致。
本文介绍数据仓库中Data Vault建模的过程描述，并举一个示例以加深对相关概念的理解。
缓存与数据库的操作时序，不管是《Cache Aside Pattern》中的方案，还是《究竟先操作缓存，还是数据库？》中的方案，都会遇到缓存与数据库不一致的问题。今天聊聊这个问题。
2021年6月24日，由中国信息通信研究院（以下简称“信通院”）正式公布了第十二批“大数据产品能力评测”结果，腾讯云数据库成为国内首批通过四项数据库领域专业评测的服务商，包括分布式事务型数据库性能、数据库服务能力实施部署专项、数据库应用迁移服务能力和图数据库基础能力，这意味着企业级分布式数据库TDSQL、数据库迁移服务DTS-DBbridge、腾讯云数图TGDB等多项腾讯云数据库产品和服务再获国家级权威认可。 “中国信通院大数据产品能力测试”是国内首个面向大数据产品的权威评测体系，旨在从基础能力、性能、可
https://mp.weixin.qq.com/s/syM4ReAWpZ5d4KI87ogpiQ 作者｜马超编辑｜薛梁过去两年严选提出并设计了统一售后模型、最大可退金额、和多级退款引擎等概念，抽象出了销退支持、上门取件、极速退款、售后风控等通用能力，经过几次架构演变，有效的降低了业务逻辑耦合和复杂度，可以做到上层业务的快速搭建和服务接入。 作为电商产品，交易在严选的业务中承担着重要的角色。随着业务的不断发展，交易场景的定制化和差异化开始凸显，同时第三方支付合作方的接入也越来越多，如何在保证交易服务安全稳定
在建立数据中台的时候，数据还是来源于各个异构的业务应用系统，实现了数据的统一，但是数据实际上是多存了一份，数据存在冗余，同时数据实时性如何来保证了？针对每个业务系统都开发数据提取接口？
上一篇介绍了什么是 modern data stack,这一篇继续来梳理下，在modern data stack 下面常见的产品都有哪些。
《多机房多活架构，究竟怎么玩？》说明了在机房迁移的过程中，一定有一个“多机房多活”的中间状态：
在最初的时候，学习机器学习(ML)可能是令人生畏的。“梯度下降”、“隐狄利克雷分配模型”或“卷积层”等术语会吓到很多人。但是也有一些友好的方法可以进入这个领域，我认为从决策树开始是一个明智的决定。
您可以使用设备树编译器 (DTC) 编译设备树源文件。不过，在将叠加层 DT 应用于目标主 DT 之前，您还应该通过模拟 DTO 的行为来验证结果。
今天跟大家分享的题目为《CKV+异地容灾探索和实践》。CKV+是一个兼容redis协议的内存数据库，现在大部分用户对内存数据库的要求越来越高，对一致性、异地容灾等方面也提出更高的要求。下面从过往经验教训、可用性&一致性、CKV+架构演进、CKV+单活多可用区和CKV+多活架构探索等方面跟分享一些关于容灾的实践和思考。
随着 IT 技术与大数据的不断发展，越来越多的企业开始意识到数据的价值，通过大数据分析，可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用，成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓，将多个数据源通过数据集成技术，汇集一起进行数据分析。由此，数据集成成为了构建数据湖仓的必经之路，然而企业在数据集成过程中却面临很多棘手问题。
2、确保应用高可用性，消除计划外的停机时间，减少计划外的停机时间，提高业务连续性。
CART是一种DT算法，根据从属(或目标)变量是分类的还是数值的，生成二进制分类树或回归树。它以原始形式处理数据(不需要预处理)，并且可以在同一DT的不同部分多次使用相同的变量，这可能会揭示变量集之间的复杂依赖关系。
随着业务发展越来越快，数据量越来越多，用户也越来越多，业务出现故障的几率也越来越大，而可用性是衡量一个系统的关键指标，application 由于是无状态的，可用性很好保证，当一个应用挂掉，直接切到另一个即可，最关键的是数据库的高可用，则是最复杂的。
直播APP源码的视频的播放过程可以简单理解为一帧一帧的画面按照时间顺序呈现出来的过程，就像在一个本子的每一页画上画，然后快速翻动的感觉。
某用户A反馈CDB实例读业务数据库没有响应，在控制台界面看到ro节点被剔除，剔除之前数据库监控上面cpu负载正常，活跃线程数出现大量的堆积；提单后，平台紧急介入，观察到ro节点出现大量的waiting for table metadata lock的报错。
1、一致性概念： 指分布式服务系统之间的弱一致性，包括应用系统的一致性和数据的一致性. 数据量大，高并发要求高，强计算能力，响应速度要求快，等的互联网要求场景下，服务节点开始池化，开始出现容器应用和数据拆分，分而治之的思想和逻辑 水平拆分和垂直拆分
无论多大数据量，迁移过程中一个数据的错漏，就会导致重大损失。如果是金融场景，损失更是惨重......（不敢想象一下自己的余额突然少了一个0）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
