译自 Embracing Database Deployments in CI/CD Practices with Git 。
1.背景 在互联网架构中，数据系统通常分为真实数据（source-of-truth）系统，作为基础数据库，存储用户产生的写操作；以及衍生数据库或索引，提供读取和其他复杂查询操作。后者常常衍生自主数据存储，会对其中的数据做转换，有时还要包括复杂的业务逻辑处理。缓存中的数据也来自主数据存储，当主数据存储发生变化，缓存中的数据就需要刷新，或是转为无效。这样架构自然而然的一个问题就是如何保障基础数据库和其它数据存储方的数据一致性。一个想法是双写，在有数据进来的时候就同时更新基础数据库和衍生数据库(或缓存),但这种方式如果没有很强的协议来保证，就还是会有一致性问题，比如说主数据库写入成功但是衍生数据库(或缓存)写入失败。另外的一个方案就是只写基础数据库，其它衍生数据库(缓存)通过监听基础数据库的变化来进行数据变更，这个方案要求能有一个工具能监听基础数据库的变更并且能够及时的通知衍生数据库(缓存)具体的变化，而Databus就是这样的一个系统。
在现代企业中，数据是至关重要的资产，确保数据在不同数据库间的实时同步变得尤为重要。Oracle数据库作为业界领先的数据库管理系统，提供了多种技术方案用于实现实时数据同步。本文将介绍几种常见的Oracle数据同步方案，包括使用GoldenGate、数据库触发器与自定义应用、第三方ETL工具以及LogMiner方式。
翻译自 Schema change management for platform teams
Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式，将数据库变更实时、可靠的从数据库拉取出来，业务可以通过定制化client实时获取变更并进行其他业务逻辑。
Bytebase是一款面向开发者的数据库变更管理工具，目前在Github上已有3.6K+Star。
我们已经对比了消息代理和数据库的诸多方面。在传统上，他们被认为是两个完全不同类别的系统，但在之前小节的分析我们看到，基于日志的消息系统中成功地从数据库中借鉴了许多经验。其实，我们也可以有另外一条路，从消息系统中借鉴一些思想，应用到数据库中。
利用 CDC，您可以从现有的应用程序和服务中获取最新信息，创建新的事件流或者丰富其他事件流。CDC赋予您实时访问后端数据库的能力。
在研究 Flink CDC 时，其中涉及了 Debezium，便决定研究一下 Debezium。这篇文章简单介绍了 Debezium 是什么，以及它的架构和特性。后续文章中会后续介绍其功能特性以及如何使用。
CDC实时数据同步指的是Change Data Capture（数据变更捕获）技术在数据同步过程中的应用。CDC技术允许在数据源发生变化时，实时地捕获这些变化，并将其应用到目标系统中，从而保持数据的同步性。CDC实时数据同步具有以下优点：
数据库是存储关键信息、支持业务运营和分析决策的基石。然而，数据库的复杂性——研发效率低、安全管控难、变更不稳定、数据管控难，和对其稳定性、安全性的极高要求同样使得它们成为企业 IT 结构中的一个脆弱环节。通过数据库规范的建设，NineData平台目前已支持100+规范，覆盖60种数据源，已审核800万 SQL，实现3万条 SQL 1秒审核完。详细的实践方法和细节，请参阅文章正文。
特别申明：本文根据生产变更编写，所有ip、用户名、文件路径和文件名等敏感信息已做替换删除或打码处理。
导读：DBus是我们要介绍的在敏捷大数据（Agile BigData）背景下的第一个平台。企业中大量业务数据保存在各个业务系统数据库中，为同时解决数据同步的一致性和实时性问题，DBus（数据总线）平台应运而生。
“不想当将军的士兵不是好的战士”、“不想当CIO的DBA不是好的运维”。在每天面临如此多的来自工作量、运维安全、技术更新挑战的同时，我们还需要不断的成长与思考：
CanalSharp是阿里巴巴开源项目mysql数据库binlog的增量订阅&消费组件 Canal 的.NET客户端，关于什么是 Canal？又能做什么？我会在后文为大家一一介绍。CanalSharp 这个项目，是由我和 WithLin (主要贡献) 完成，并将一直进行维护的Canal的.NET客户端项目。目前开源在github：https://github.com/CanalSharp/CanalSharp/ 希望大家多多支持，旨在为.NET开发者提供一个友好的对接Canal的选择，为.NET社区生态做贡献。
随着 DevOps 成为主流，团队纷纷开始采用如 GitLab/GitHub 等工具来管理代码，并采用 Terraform 等工具来管理基础设施。同样地，在应用程序开发过程中，Bytebase 作为一款开源的数据库 CI/CD 工具，为 DBA 和开发人员提供了一个基于 Web 的工作区，以安全高效的方式协作和管理数据库的变更。
Oracle Redo Log是一种特殊的日志文件，用于记录数据库中所有数据变更的详细信息。当你在数据库执行插入、更新或删除等操作时，这些操作并不会立刻写入数据库的实际数据文件。相反，这些变更会首先被记录到Redo Log文件中。
CanalSharp是阿里巴巴开源项目mysql数据库binlog的增量订阅&消费组件 Canal 的.NET客户端，关于什么是 Canal？又能做什么？我会在后文为大家一一介绍。CanalSharp 这个项目，是由我和 WithLin(主要贡献) 完成，并将一直进行维护的Canal的.NET客户端项目。目前开源在github：https://github.com/CanalSharp/CanalSharp/ 希望大家多多支持，旨在为.NET开发者提供一个友好的对接Canal的选择，为.NET社区生态做贡献。
一个大型分布式系统往往存在多种的存储系统，mysql，tair，redis，memcache，hbase等等。一些重要的或者需要事务支持的数据操作，通常都会放到mysql处理。但是，为了满足高性能的访问需求或者做一些服务定制化的查询，业务上通常又会把mysql的数据再写到tair或者redis等外部存储中一份。
今天给大家介绍一款比较好用的数据库版本控制工具Flyway。在通过Spring Boot构建微服务的过程中，一般情况下在拆分微服务的同时，也会按照系统功能的边界对其依存的数据库进行拆分。在这种情况下，微服务的数据库版本管理对于研发工程管理来说，就会是一个比较棘手的问题。
LinkedIn于2月26日开源了其低延时变化数据捕获系统Databus，该系统可以在MySQL以及Oracle数据源上捕获数据，当下LinkedIn只开源了Oracle上的连接器。Databus作为LinkedIn生态系统中的一致性保障组件，在低延时的情况下仍然具有高有效性；而其最大的特点莫过于无限制恢复能力及丰富的数据深度处理功能。
在进行架构转型与分库分表之前，我们一直采用非常典型的单体应用架构：主服务是一个 Java WebApp，使用 Nginx 并选择 Session Sticky 分发策略做负载均衡和会话保持；背后是一个 MySQL 主实例，接了若干 Slave 做读写分离。在整个转型开始之前，我们就知道这会是一块难啃的硬骨头：我们要在全线业务飞速地扩张迭代的同时完成架构转型，因为这是实实在在的”给高速行驶的汽车换轮胎”。
因此在生成(build)数据库 Docker 镜像的时候，每个阶段都需要翻新上一个版本，即在上一个版本的基础上，应用本次 source code 中的变更，使其生成一个新的镜像，然后发布到各个环境，比如开发，测试甚至生产。
在应用的发布过程中数据库的结构变更一直是最复杂也是风险最大的环节，而 Bytebase 可以对这一过程进行全生命周期的管理。在 Rainbond 中安装 Bytebase，轻松管理部署在 Rainbond 上的所有数据库。
系统如果要应付大规模的请求，一条必经之路就是数据库的分割，单服务器的性能早晚都会成为负载的短板。而数据库分割，通常有Master/Salve或者集群Cluster的方式，这些方式通常都是基于同种类型的数据。对于一个庞大的多类型数据库的系统，在不同的数据库之间(甚至是不同地理位置的机房间)保持数据的同步，需要更复杂的解决方案。LinkedIn良心开源了内部的一个项目Databus，正是解决这个问题的一套实时低延迟数据同步系统。
作为《手撕MySQL》系列的第三篇文章，今天讲解使用 bin log实现主从复制的功能。主从复制也是MySQL集群实现高可用、数据库读写分离的基石。因为是系列文章，上一篇文章中（传送门）我们已经介绍了在MySQL中查看 bin log的相关状态以及文件信息，并且借助 bin log（二进制日志）实现数据恢复的案例。因此在这篇文章中如有涉及相关知识，将不再赘述。
CDC全称是Change Data Capture，我们通常将能够捕获数据变更的技术称为CDC。目前通常描述的CDC技术主要面向数据库的变更，是一种用于捕获数据库中数据的变更技术。CDC的技术应用场景有数据同步、数据分发、数据集成等。
遇到的失败或错误分为两大类：物理和逻辑。物理错误一般是硬件错误或使用数据库的应用程序中的软件错误，而逻辑错误一般在终端用户级别（数据库用户和管理员）。
我们坑你遇到的失败或错误分为两大类：物理和逻辑。物理错误一般是硬件错误或使用数据库的应用程序中的软件错误，而逻辑错误一般在终端用户级别（数据库用户和管理员）。
Databus和canal都能够提供实时从数据库获取变更，并提供给下游的实时消费流的功能。
在前一阵子，大哥问过我：”你知道MySQL的原子性是怎么保证的吗“。我懵逼了，MySQL怎么保证原子性？我不会啊。
关于EntityFramework Core有三个重要的引用和三条重要的命令，掌握以这六条，基本用Entity Framework Core就得心应手了。 引用1：Install-PackageMicrosoft.EntityFrameworkCore.SqlServer 这是SqlServer的Entity FrameworkCore的“驱动程序”。不同的数据库这条引用不同，此处仅以SqlServer为例。 引用2：Install-PackageMicrosoft.EntityFrameworkCore.
大家在日常工作中，往往需要对数据库的表结构做变更，一般涉及到增删字段，修改字段属性等ALTER的操作。
基础网络是早期腾讯云云上网络，后在基础网络上演进出具备自主可控、安全性更高的私有网络，私有网络作为当前的主流云网络，推荐作为业务长期发展使用。
Sync Framework 是一个功能完善的同步平台，实现了应用程序、服务和设备的协作和脱机访问。Sync Framework 提供了一些可支持在脱机状态下漫游、共享数据和获取数据的技术和工具。通过使用 Sync Framework，开发人员可以构建同步生态系统，通过在任意网络上使用任意协议，将任意应用程序与任意存储区中的数据集成在一起。 本文档涵盖所有 Sync Framework 组件，包括以下组件： 核心组件 数据库同步提供程序（在以前的版本中称为 Sync Services for ADO.N
SQLite 是一款开源的 SQL 数据库引擎，由于其自包含、无服务、零配置和友好的使用许可（完全免费）等特点，在桌面和移动平台被广泛使用。
一个程序员很有必要熟悉或者精通一种数据库，MySQL无疑是首选。为什么使用MySQL呢，因为它是开源的，同时具备轻量、简单、稳定和高性能等特点，尤其是其学习成本相对其他数据库，比如Oracle和Sybase更简单，入门更低。MySQL的应用范围从中小型Web网站到大型的企业级应用随处都可见它的身影。 关系型数据库 关系型数据库把所有的数据都通过行和列的二元表现形式表示出来。它的优势： 保持数据的一致性（事务处理） 由于以标准化为前提，数据更新的开销很小（相同的字段基本上都只有一处） 可以进行Join等复杂查
在SQL Server 2008版本之前，对表数据库的变更监控，我们通常使用DML触发器进行监控，把DML操作中的INSERT/UPDATE/DELETE数据记录下来，但是触发器的维护比较困难；
GitOps 于 2017 年首创，是一种管理由 Kubernetes 提供支持的云原生系统的现代方式。它利用策略即代码方法来定义和管理现代应用程序堆栈的每一层——基础设施、网络、应用程序代码和 GitOps 管道本身。Orbit 基于 GitOps 方法理念提供以下能力：
公司是做社交相关产品的，社交类产品对搜索功能需求要求就比较高，需要根据用户城市、用户ID昵称等进行搜索。 项目原先的搜索接口采用SQL查询的方式实现，数据库表采用了按城市分表的方式。但随着业务的发展，
公司是做社交相关产品的，社交类产品对搜索功能需求要求就比较高，需要根据用户城市、用户ID昵称等进行搜索。
摘要：本文整理自 XTransfer 资深 Java 开发工程师、Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲。主要内容包括：
对于业务系统本身在架构设计的时候考虑扩展，原来更多的都是谈的IT基础技术架构本身的高可用性和高扩展性。而对于业务系统扩展性，简单来说就是如何灵活的应对需求的变化和扩展，如果减少在处理变更或扩展中代码不断产生的坏味道。
New in MongoDB 3.6. What’s New in MongoDB 3.6. Part 1 – Speed to Develo
Sync Framework 2.1 引入了新功能，这些功能支持您计算机上的 SQL Server 或 SQL Server Compact 数据库与 SQL Azure 数据库进行同步。此发行版还引入了基于参数的筛选、从数据库删除同步作用域和模板的功能，并且增强了性能可加快和简化同步过程。 SQL Azure 同步 使用 Sync Framework 2.1，您可以通过综合利用 Windows Azure 平台和 SQL Azure 数据库将您的数据范围扩展到 Web。通过将您企业内部部署的 S
数据对于我们来说是一项最重要的资产，因为数据丢失带来的损失，对于一家公司来说，有时也是毁灭性的。
在前面几章，我们讨论了数据系统的各个方面，但仅限于数据存储在单台机器上的情况。现在我们进入更高的层次，在接下来的几章讨论将数据库分布到多台机器的情况。
最近在做年度规划的时候，一直在思考一个问题，怎么才能能够得到业务侧对我们服务质量的想法和建议，或者换句话来说，我们的价值和表现如果自我评判，一般来说都会有失偏颇，而且相对容易乐观悲观两极化，所以对于评判的形式，经过评估觉得还是问卷的形式要好一点，最主要的一个原因是我们要想得到别人对我们的评价，我们最好能够自己把问题想明白，理清楚了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
