事情是这样的，在我们的MySQL 被 POLARDB 打败了后，我们遇到一个问题，就是强一致读的问题，在一个特殊的应用中，在大批量写后，需要立即进行数据的读，之前在MySQL都是打到主库，但基于想利用PolarDB的double 节点，总不能还强制将读都指定到写节点，所以我们采用了原有的方案，但是发现在大量的写后去马上读的中应用给出的延迟在20ms，也就是在大量UPDATE 几百万的数据后，从库的数据延迟应该在20ms内。虽然我们也解决了这个问题，但是实际上POLARDB 还有一个新的功能我们没有用到，POLARDB-SCC 。
本文转载：http://www.cnblogs.com/liuhh/archive/2011/05/14/2046544.html
在基本的读等待方案中，在处理RO节点上的读请求之前，总是要等待发生在特定时间戳之前的日志被应用，这意味着即使此请求仅访问数据的一个小子集也必须等待所有本地内存数据更新为最新，为避免对于读请求中无关的日志应用而产生的等待，我们提出一种新的修改跟踪协议，以不同的层次来跟踪RW节点最新修改时间戳，使RO节点能够在不同的层级上检查时间戳，并且只需要等待请求的数据更新为最新。
我发现数据库有些日期居然用字符串保存？于是跟几个小伙伴讨论了关于数据库的日期应该要怎么保存的问题，其实我一直都建议直接用数值保存时间戳，为什么我要这么建议呢？
某条数据投递到某个流处理系统后，该系统对这条数据只处理一次，提供Exactly-Once的保障是一种理想的情况。如果系统不出任何故障，那简直堪称完美。然而现实世界中，系统经常受到各类意外因素的影响而发生故障，比如流量激增、网络抖动、云服务资源分配出现问题等。如果发生了故障，Flink重启作业，读取Checkpoint中的数据，恢复状态，重新执行计算。
数据抽取是指从源数据源系统抽取需要的数据。实际应用中，数据源较多采用的是关系数据库。总体而言，数据抽取的常见方法有两大类，一是基于查询式的，一是基于日志的。
随着物联网的普及和工业技术的不断发展，高效管理海量时间序列的需求越来越广泛，数据量越来越庞大。时间序列主要分为两种，即单元时间序列和多元时间序列。单元时间序列是指一个具有单个时间相关变量的序列，单元时间序列只包含一列时间戳和一列值。多元时间序列是指一个具有多个时间相关变量的序列，多元时间序列包含多个一元时间序列作为分量，各个一元时间序列的采样时间点相同，所以数据可以用矩阵形式表示，每行为一个时间点，每列为一个一元时间序列。
在MongoDB数据库中名字空间 .system.* 是包含多种系统信息的特殊集合(Collection)，如下:
MVCC，Multi-Version Concurrency Control，多版本并发控制。MVCC 是一种并发控制的方法，一般在数据库管理系统中，实现对数据库的并发访问；在编程语言中实现事务内存。
截至目前UUID有5个版本，第二个版本DCE（Distributed Computing Environment）安全的UUID不推荐使用，它时间戳的低部分被代表本地标识符的32位整数替换，这会导致精度损失。Python包uuid中就没提供第二个版本的实现。
在MongoDB数据库中名字空间 <dbname>.system.* 是包含多种系统信息的特殊集合(Collection)，如下:
很多场景需要使用全局唯一ID，用来标识唯一一条消息，唯一一笔交易，唯一一个用户，唯一一张图片等等。 传统数据库表的自增主键是很简单的一种实现方式，前提是你没有分库，也没有分表，如果你分表了，id就会重复，失去唯一性：
本篇介绍MongoDB数据库中常见的数字和时间数据类型使用场景，并给出最佳实践引导。
最近在做需求的时候，有个管理端接口需要在调用的时候传递一个无符号的32位整形文件ID，也就是0 ~ 4294967295之间的数字，每次调用接口这个文件ID不能重复。
我们可以将设备上行数据存储到关系型数据库中，我们需要两张带有时间戳的表（最新数据表 和 历史数据表），历史数据表存储所有设备上报的数据，最新数据表需要存储设备最新一条上报数据，这条最新数据相当于设备的当前状态。然后展示的时候只展示最新一条数据的状态，报表查询可以按照设备id和时间从历史数据表查询汇总。 这样是可以的，但是我们的最新数据表需要被频繁的更新，数据量少的时候没问题。但数据量大，并发高的时候就会出现问题。 1、存储成本：数据不会被压缩，导致占用存储资源。 2、维护成本：单表数据量太大时，需要人工分库分表。 3、写入性能：单机写入吞吐量难以满足大量上行数据的写入需求，数据库存在性能瓶颈。 4、查询性能：数据量太大导致查询性能受到影响。
SQL Server timestamp 数据类型与时间和日期无关。SQL Server timestamp 是二进制数字，它表明数据库中数据修改发生的相对顺序。实现 timestamp 数据类型最初是为了支持 SQL Server 恢复算法。每次修改页时，都会使用当前的 @@DBTS 值对其做一次标记，然后 @@DBTS 加1。这样做足以帮助恢复过程确定页修改的相对次序，但是 timestamp 值与时间没有任何关系。
一般情况下，我们在定义表模型的时候，会使用time.Time，但是会根据当前时间存储。返回给前端的时候做时区转换会比较复杂，所以一般用int64:
事务是访问并更新数据库中各个数据项的一个程序执行单元。在事务操作中，要不都做修改，要么都不做。
对于读多写少的场景，想象中，可以通过使劲增加读副本来均摊流量。但有个隐含的条件是，多副本建的同步得做成异步的，否则，读副本一多，某些副本就很容易出故障，进而阻塞写入。
前面我们花了很多的时间介绍了 redis 中基本的数据结构，及其内部的实现情况，这些都是非常基础的东西，可能不经意间你就会用到他们，希望你花点时间了解一下。
“时间戳”是个听起来有些玄乎但实际上相当通俗易懂的名词，我们查看系统中的文件属性，其中显示的创建、修改、访问时间就是该文件的时间戳。对于大多数一般用户而言，通过修改“时间戳”也许只是为了方便管理文件等原因而掩饰文件操作记录。但对于应用数字时间戳技术的用户就并非这么“简单”了，这里的“时间戳”（time-stamp）是一个经加密后形成的凭证文档，是数字签名技术的一种变种应用。在电子商务交易文件中，利用数字时间戳服务（DTS：digita1timestampservice）能够对提供电子文件的日期和时间信息进行安全保护，以防止被商业对手等有不良企图的人伪造和串改的关键性内容。
InfluxDB默认以UTC时间存储并返回时间戳，当接收到一个时序数据记录时，InfluxDB将时间戳从本地时区时间转换为UTC时间并存储，查询时，InfluxDB返回的时间戳对应的是UTC时间。InfluxDB支持通过在tz()子句中指定TZ格式的时区名字，如Asia/Shanghai，将UTC时间转换为中国本地时间，基本语法如下。
浅谈数据库主键策略 数据库表的主键很多童鞋都非常熟悉了，主键就是Primary Key，简称PK。 数据库主键的作用是唯一标识一条记录，所以在同一张表中，任意一条记录的主键都是唯一的，不然，数据库系统就无法根据主键直接定位记录。 虽然数据库系统本身对主键没有特别的要求，但是，写程序的时候，要考虑清楚使用什么类型的主键。正确地使用主键是存储数据成功的一半，错误地使用主键会让一个应用逐渐走向崩溃。 主键不可修改 对于数据库来说，主键其实是可以修改的，只要不和其他主键冲突就可以。但是，对于应用来说，如
每次放长假的在家里的时候，总想找点简单的例子来看看实现原理，这次我们来看看 Go 语言雪花算法。
在开发各类数据库应用系统时，业务领域实体往往需要包含“创建时间”、“最后更新时间”、“创建人”、“最后更新人”等跟踪戳属性。这些属性是领域实体的基本属性，几乎所有的领域业务操作都会使用到这些属性，如：创建业务数据肯定会保存创建时间、创建人；更新业务数据需要记录最后更新时间；查询业务数据需要显示创建人等。
为了实现数据仓库中的更加高效的数据处理，今天和小黎子一起来探讨ETL系统中的增量抽取方式。增量抽取是数据仓库ETL(数据的抽取（extraction）、转换（transformation）和装载（loading）)实施过程中需要重点考虑的问题。ETL抽取数据的过程中，增量抽取的效率和可行性是决定ETL实施成败的关键问题之一，做过数据建模的小伙伴都知道ETL中的增量更新机制比较复杂，采用何种机制往往取决于源数据系统的类型以及对增量更新性能的要求。今天我们只重点对各种方法进行对比分析，从而总结各种机制的使用条件和优劣性，为数据仓库项目的ETL工程的实施提供增量抽取技术方案参考。
FreeSWITCH是一个开源、高性能的多协议的媒体引擎和通信平台。TDengine是一个开源、高性能、分布式，支持SQL的时序数据库。
今天咱们来看一道数据库中比较经典的面试问题：为什么要使用雪花 ID 替代数据库自增 ID？同时这道题也出现在了浩鲸科技的 Java 面试中，下面我们一起来看吧。
本系列文章将整理到我在GitHub上的《Java面试指南》仓库，更多精彩内容请到我的仓库里查看
8.1 Collaboration and conflict resolution
转账是生活中常见的操作,比如从A账户转账100元到B账号。站在用户角度而言,这是一个逻辑上的单一操作,然而在数据库系统中,至少会分成两个步骤来完成:
其他面试题相对来说比较简单，大部人题目都可以在我的网站上（www.javacn.site）找到答案，这里就不再赘述，咱们今天只聊“为什么要使用雪花 ID 替代数据库自增 ID？”这个问题。
数据点包括time(一个时间戳)，measurement(例如cpu_load)，至少一个k-v格式的field(也即指标的数值例如 “value=0.64”或者“temperature=21.2”)，零个或多个tag，其一般是对于这个指标值的元数据(例如“host=server01”, “region=EMEA”, “dc=Frankfurt)。
公司业务使用到Greenplun数据库，根据查询的时间戳来不断的将每个时间段之间的数据，进行数据交换，但是今天发现，mysql的时间戳没有小数点后6位，即精确度到毫秒级的，所以对于这个问题，将和Greenplum数据库的时间戳后6位保持一样。当然了最大位数是6位，也可以是1-6之间的整数。可以根据自己的业务进行设计。这样进行查询每个时间段之间的数据就不会出现丢失数据和重复数据的情况了。
悲观锁，每次访问资源都会加锁，执行完同步代码释放锁，synchronized 和 ReentrantLock 属于悲观锁。
在分布式系统中，有一些场景需要使用全局唯一 ID ，可以和业务场景有关，比如支付流水号，也可以和业务场景无关，比如分库分表后需要有一个全局唯一 ID，或者用作事务版本号、分布式链路追踪等等，好的全局唯一 ID 需要具备这些特点：
在当今的数字时代，分布式系统已成为处理大规模数据和高并发请求的标准架构。在这样的系统中，生成全局唯一的标识符（ID）对于追踪和区分每一个数据项至关重要。传统的自增ID生成方式在分布式环境中面临着诸多挑战，例如性能瓶颈、水平扩展限制等问题。
MongoDB的单个实例可以容纳多个独立的数据库，每一个都有自己的集合和权限，不同的数据库也放置在不同的文件中。
在 Java 中，我们可以使用乐观锁和悲观锁来保证数据的一致性和并发性。下面是对乐观锁和悲观锁的介绍以及它们的实现方式。
InfluxDB是一个开源的时序数据库，使用GO语言开发，特别适合用于处理和分析资源监控数据这种时序相关数据。
为什么需要分布式全局唯一ID以及分布式ID的业务需求？集群高并发情况下如何保证分布式唯一全局Id生成？
influxdb的单机版是开源的，而集群版是商业版，influxdb被设计运行在SSD上，如果使用机器或者网络磁盘作为存储介质，会导致性能下降至少一个数量级。influxdb支持restful api，同时也支持https，为了保证安全性，非局域网建议使用https与Influxdb进行通信。
MongoDB中的一些最新特性（如多文档ACID事务）需要对底层的WiredTiger存储引擎中进行基础性的增强。
大多数分布式数据库至少提供了最终一致性，这意味着如果停止对数据库的写操作并等待一段时间，最终所有读请求将返回相同的值。但是，这是一个非常弱的一致性保证，所谓的一段时间并不确定。如果写入一个值，然后立即读取它，就不能保证读取到刚才写入的值。
本系列为 CMU 15-445 Fall 2022 Database Systems 数据库系统 [卡内基梅隆] 课程重点知识点摘录，附加个人拙见，同样借助CMU 15-445课程内容来完成MIT 6.830 lab内容。
在Spring Boot中设计一个订单号生成系统，主要考虑到生成的订单号需要满足的几个要求：唯一性、可扩展性、以及可能的业务相关性。以下是几种常见的解决方案及相应的示例代码：
一个MongoDB可以建立多个数据库，MongoDB默认数据库为"db"，该数据库存储在data目录中。
说MVCC(Multiversion concurrency control，多版本并发控制)之前，先从数据库的ACID说起。ACID其中一个就是I。也就是Isolation，隔离性。
几乎所有的系统都存在生成唯一ID的需求，如用户ID、账单ID等，由于系统通常是分布式架构，因而需要有合适的分布式ID生成方案。
有关系行数据库经验的人（比如我），在最初接触HBase这样的数据库时，对数据结构的理解容易遇到障碍。会不自觉的将HBase的行、列等概念映射成关系型数据库的行、列。为了加速理解HBase的一些概念，翻译了这篇文章《Understanding HBase and BigTable》（HBase官方文档推荐阅读文章）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
