kafka 是一个分布式消息队列
群集部署, 可以部署在多个数据中心
topic: key, value, timestamp
每个topic:有分区日志
每个分区日志记录是顺序的, 不可变的串行offset...Geo-Replication
MirrorMaker 可以把消息复制到多个数据中心或者云区域
生产者负责把消息推送到指定的分区(patition), 和消息
消费者可以分组
同分组的消费者会一load...topic 一个 分区推送的消息保证顺序性
- 消费者看到消息的顺序与日志的顺序一致
- 假如有N台消息服务器 , kafka能容忍宕机了N-1台服务器并且不会丢失数据
kafka 是一个消息系统,...存储系统, 流处理系统
作为消息系统, kafka的特点与优势
消息队列有两种:
队列(queue)
一群消费者消费同一个队列, 每个消息被其中一个消费者消费....优点: 消息可以同时被多个消费者消费
缺点:消息处理慢, 一次只能消费一个消息
kafka 的消费者组(consumer group)泛化了这两种消息队列, 一个消费者组就是queue, 订阅是跨消费者组的