message 是 Kafka 中最基本的数据单元，它由 key 和 value 两部分构成，KV 都为字节数组。
我们一般配置ClickHouse集群只需要修改Zookeeper存储和节点添加即可。
Redis的主从复制是如何工作的？如何在同步数据的同时，还保持着高性能，你了解吗？
当我在写一上来就主从、集群、哨兵，这谁受得了的时候，好多小伙伴就迫不及待的留言想看这些模式了，今天我们就从配置文件、设计原理、面试真题三个方面来聊一聊 Redis 的主从复制。
写隔离 ，因为ClickHouse 都是本地表写入，所有用户通过system.clusters 来设计不同的写入规则即可
Redis 不管主从版还是集群规格，replica作为备库不对外提供服务，只有在发生HA的时候，replica提升为master后才承担读写流量。这种架构读写请求都在master上完成，一致性较高，但性能受到master数量的限制。经常有用户数据较少，但因为流量或者并发太高而不得不升级到更大的集群规格。
一条消息只有被ISR中所有Follower都从Leader复制过去才会被认为已提交。这样就避免了部分数据被写进了Leader，还没来得及被任何Follower复制就宕机了，而造成数据丢失。而对于Producer而言，它可以选择是否等待消息commit，这可以通过request.required.acks来设置。这种机制确保了只要ISR中有一个或者以上的follower，一条被commit的消息就不会丢失。
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对Failover要求非常高。因此，Kafka从0.8开始提供High Availability机制。本文从Data Replication和
ClickHouse入门学习（一）：https://blog.csdn.net/qq262593421/article/details/119514836
作者 | 张乐奕：Oracle ACE 总监，ACOUG （中国 Oracle 用户组）联合发起人。Oracle 数据库高可用解决方案与 Exadata 一体机专家。长于数据库故障诊断，性能调优。作为多家知名论坛版主，热衷社区技术分享，同时也是 Exadata 用户组的发起人，组织策划并作为技术分享者的活动已超过百场。
为了更好地解决服务编排的问题，k8s在V1.2版本开始，引入了deployment控制器，值得一提的是，这种控制器并不直接管理pod，而是通过管理replicaset来间接管理pod，即：deployment管理replicaset，replicaset管理pod。所以deployment比replicaset的功能更强大。
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failover机制的需求非常高。因此，Kafka从0.8开始提供High Availability机制。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。
Here is the description of synchronization procedure:
Redis 4.0 开始，当一个实例在故障转移后被提升为 master，它仍能与旧 master 的 Replica 进行部分重同步。为此，Replica 会记住旧 master 的旧 replication ID 和复制偏移量，因此即使询问旧的 replication ID，也可以将部分复制缓冲提供给连接的 Replica 。
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览
http://www.jasongj.com/2015/04/24/KafkaColumn2/
查询恢复信息 [root@esvm03 ~]# curl 'localhost:9200/_cat/recovery?v' index shard time type stag
MySQL 8.0.23 引入了一项新功能，可以从未开启全局事务标识符 (GTID)的源服务器复制到配置有 GTID 的副本服务器。这可以通过在 CHANGE REPLICATION SOURCE 命令中使用参数 ASSIGN_GTIDS_TO_ANONYMOUS_TRANSACTIONS 来实现。启用此选项将允许副本为从源接收的每个非 GTID（匿名）事务分配一个新的 GTID。
网上很多Redis方面的文章，会涉及到repl-ping-slave-period和repl-ping-replica-period这两个重要参数，从一些中文解释来看，意思差不多，即：SLAVE周期性的ping MASTER间隔，可直接理解成SLAVE -> MASTER间的心跳间隔（注意箭头方向）。
在上一篇 《必会 | 教你如何重新分布kafka分区、增加分区副本数》文章中，描述了如何重新分配 kafka topic 分区以及增加分区副本数。在最后我留了一个小疑问，如果 kafka leader replica 不挂掉的话，如何选择某 replica 为指定leader 呢？
Deployment为Pod和ReplicaSet提供了一个声明式定义(declarative)方法，用来替代以前的ReplicationController来方便的管理应用。典型的应用场景包括：
许多消息都会各种保证自己的产品不会丢消息或者消息丢失概率较小，但是靠谱的很少，而且消息队列丢消息排查起来是非常麻烦的，所以大多数在使用的过程中都会在上层或者下层建立一种消息核对或者应对丢失的策略。在丢消息这方面，Kafka 算是有着不小的优势，只要去正确使用，Kafka 基本是不会产生丢失的，并且能做到精确一次处理。
本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。
我们都知道, Kafka的每个Topic的存储在逻辑上分成若干个Partition,每个Partition又可以设置自己的副本Replica； 这样的设计就引出了几个概念: Partition: 消息在Kafka上存储的最小逻辑单元, 在物理上对应在不同的Broker机器上; Replica: 每个Partition可以设置自己的副本Partition, 这样主Partition叫作Leader, 副本叫作Replica；从灾备的角度考虑, 在物理上Replica尽量不要与Leader在同一台Broker
一个三个es进程组成的es集群，约定了该index有三个primary shard，三个replicat shard 分布式es的框架图demo
另外， Kafka 实现持久化的设计也有新颖之处。普通的系统在实现持久化时可能会先尽量使用内存，当内存资源耗尽时，再一次性地把数据“刷盘”；而 Kafka 则反其道而行之， 所有数据都会立即被写入文件系统的持久化日志中，之后 Kafka 服务器才会返回结果给客户端通知它们消息已被成功写入。这样做既实时保存了数据，又减少了 Kafka 程序对于内存的消耗，从而将节省出的内存留给页缓存使用，更进一步地提升了整体性能 。
Replica的状态 Replica有7种状态: NewReplica: 在partition reassignment期间KafkaController创建New replica; OnlineReplica: 当一个replica变为一个parition的assingned replicas时, 其状态变为OnlineReplica, 即一个有效的OnlineReplica. Online状态的parition才能转变为leader或isr中的一员; OfflineReplica: 当一个broker
本博客的目的在于简述MySQL和PostgreSQL之间如何跨数据库进行复制。涉及跨数据库复制的databases一般被称作异构databases。这是将数据从一种RDBMS server复制到另一种server的一种很好的方法。
4台机器，clickhouse集群搭建了双副本双实例，查询统计多次出现不同数据结果，具体如下 ：
在海量数据的场景下，单节点的 CH 可能不能满足我们的需求了，因此可以考虑使用 CH 集群，从而解决单节点存储和查询的瓶颈。
如果要想保证Kafka数据不丢， 要从Kafka的三个地方入手：生产者、服务端和消费者。
Kafka 实现高可用性的方式是进行 replication。对于 kafka，如果没有提供高可用性机制，一旦一个或多个 Broker 宕机，则宕机期间其上所有 Partition 都无法继续提供服务。若该 Broker永远不能再恢复，那么所有的数据也就将丢失，这是不可容忍的。所以 kafka 高可用性的设计也是进行 Replication。 Replica 的分布：为了尽量做好负载均衡和容错能力，需要将同一个 Partition 的 Replica 尽量分散到不同的机器。 Replica 的同步：当有很多 Replica 的时候，一般来说，对于这种情况有两个处理方法：
本文主要研究一下kafka的partition分配，主要是key到parition的映射，partition对consumer的分配，以及partition的replica对broker/machine的分配。
binlog_format:指定二进制日志的格式，有statement，mixed，row三种格式
Client会发送一系列请求给各个replicas节点来执行相应的操作，BFT算法保证所有正常的replicas节点执行相同序列的操作。因为所有的replicas节点都是deterministic，而且初始状态都相同，根据状态机原理（state machine replication），这些replicas会产生相同的结果状态。当Client收到f+1个replicas节点返回的结果时，如果这些结果都一样，因为BFT算法确保了最多有f个replicas出现问题，所以至少有一个replicas是正确的，那么Client收到的这些结果都是正确的。
Topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
请注意，当 master 失败时，整个系统将 不会 自动故障回退到 replica。你需要通过调用 coordinator 的 API 来实现。在此期间，服务器代理仍然能够处理请求，但整个系统无法为服务器代理扩展和故障转移，直到 coordinator 的 Memory Broker 端点切换到 replica。
2018年第一天，许下第一份愿望吧，闭上眼睛，双手合十，心中默念，梦想成真。有期待的生活是快乐的，有憧憬的日子是惊喜的。元旦快乐!
该文章介绍了如何使用多个GPU进行训练，包括TensorFlow、PyTorch和MXNet等框架。文章首先介绍了多GPU训练的基础知识和技术，然后详细讲解了如何配置和管理多GPU训练环境，并通过实际案例演示了如何使用多GPU进行训练。
Lync里中央管理服务器CMS，怎么理解，承担那些功能和数据，最近看国外大牛写的文章很到位，顺便帖出来供大家学习。 原文地址：http://uc-dude.com/2014/09/26/simple-understanding-of-lync-cms/ Simple understanding of Lync CMS I decided to write a “Simple Lync CMS Explanation” article, the difference with this article
本文主要阐述了HA相关各种场景，如Broker failover、Controller failover、Topic创建/删除、Broker启动、Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。 Broker Failover过程 Controller对Broker failure的处理过程 Controller在ZooKeeper的/brokers/ids节点上注册Watch。一旦有Broker宕机
TensorFlow程序可以通过tf.device函数来指定运行每一个操作的设备，这个设备可以是本地的CPU或者GPU，也可以是某一台远程的服务器。但在本文中只关心本地的设备。TensorFlow会给每一个可用的设备一个名称，tf.device函数可以通过设备的名称来指定执行运算的设备。比如CPU在TensorFlow中的名称为/cpu:0。在默认情况下，即使机器有多个CPU，TensorFlow也不会区分它们，所有的CPU都使用/cpu:0作为名称。而一台机器上不同GPU的名称是不同的，第n个GPU在TensorFlow中的名称为/gpu:n。比如第一个GPU的名称为/gpu:0，第二个GPU名称为/gpu:1，以此类推。
如何超出扩容极限，以及如何提升容错性 primary&replica自动负载均衡，6个shared，3个primary，3个replica，随着机器扩容，会被均衡分配到多台机器上 6个shared，要扩容到9台机器，增加replica shared数量，primary shared数量是不能变得，只能增加replica，变成3个P，6个R，这样可以增加吞吐量 若从两台服务器到3台服务器，replica需要6个，P还是3个，可以容错两台服务器宕机，否则3个P，3个R能容忍一台服务器宕机 Elasticsear
如果想尝试使用Google Colab上的TPU来训练模型，也是非常方便，仅需添加6行代码。
200行代码实现paxos-kv 中介绍了一款非常简洁的分布式kv存储实现, 它是基于 classic-paxos 实现分布式一致性. 在 paxos的直观解释 中我们提到, 每次写入, 也就是每个 paxos 实例需要2轮 RPC 完成, 效率低.
磐创AI 专注分享原创AI技术文章 翻译 | fendouai 编辑 | 磐石 【磐创AI导读】：本文编译自tensorflow官方网站，详细介绍了Tensorflow中多GPU的使用。欢迎大家点击上方蓝字关注我们的公众号：磐创AI。 目录： 介绍 记录设备状态 手动分配状态 允许GPU内存增长 在多GPU系统是使用单个GPU 使用多个 GPU 一． 介绍 在一个典型的系统中，有多个计算设备。在 TensorFlow 中支持的设备类型包括 CPU 和 GPU。他们用字符串来表达，例如： •"/cpu:0":
核心replica.logEndOffset.offsetDiff(leaderHW) >= 0 如果当前replica的LEO大于等于Leader的HighWaterMark, 则表明该replica的同步已经跟上了leader, 将其加入到ISR列表中,更新本地的metadata ISR缓存同时更新zk上/brokers/topics/[topic]/partitions/[parition]/stat的节点内容;
【Cluster】 集群，一个ES集群由一个或多个节点（Node）组成，每个集群都有一个cluster name作为标识 ------------------------------------------------ 【node】 节点，一个ES实例就是一个node，一个机器可以有多个实例，所以并不能说一台机器就是一个node，大多数情况下每个node运行在一个独立的环境或虚拟机上。 ------------------------------------------------ 【index】 索引，即一系列documents的集合 ------------------------------------------------ 【shard】 分片，ES是分布式搜索引擎，每个索引有一个或多个分片，索引的数据被分配到各个分片上，相当于一桶水用了N个杯子装，分片有助于横向扩展，N个分片会被尽可能平均地（rebalance）分配在不同的节点上（例如你有2个节点，4个主分片(不考虑备份)，那么每个节点会分到2个分片，后来你增加了2个节点，那么你这4个节点上都会有1个分片，这个过程叫relocation，ES感知后自动完成)，分片是独立的，对于一个Search Request的行为，每个分片都会执行这个Request.另外，每个分片都是一个Lucene Index，所以一个分片只能存放 Integer.MAX_VALUE - 128 = 2,147,483,519 个docs。[LUCENE-5843] IndexWriter should refuse to create an index with more than INT_MAX docs ------------------------------------------------ 【replica】 复制，可以理解为备份分片，相应地有primary shard（主分片），主分片和备分片不会出现在同一个节点上（防止单点故障），默认情况下一个索引创建5个分片一个备份（即5primary+5replica=10个分片），如果你只有一个节点，那么5个replica都无法分配（unassigned），此时cluster status会变成Yellow。replica的作用主要包括: 1.容灾：primary分片丢失，replica分片就会被顶上去成为新的主分片，同时根据这个新的主分片创建新的replica，集群数据安然无恙 2.提高查询性能：replica和primary分片的数据是相同的，所以对于一个query既可以查主分片也可以查备分片，在合适的范围内多个replica性能会更优（但要考虑资源占用也会提升[cpu/disk/heap]），另外index request只能发生在主分片上，replica不能执行index request。 对于一个索引，除非重建索引否则不能调整分片的数目（主分片数, number_of_shards），但可以随时调整replica数(number_of_replicas)。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
