Kafka通过以下五个核心功能实现流式事件处理:
数据源可以将数据事件发布到或放入一个或多个Kafka主题,或类似的数据事件分组中。
应用可以订阅一个或多个Kafka主题,从中获取数据,并处理生成的数据流。
Kafka Streams API可以作为流处理器,使用来自一个或多个主题的数据流,并生成一个或多个主题发布的数据流。
您还可以构建可重复使用的生成器或使用者连接,以关联Kafka主题与现在有应用。目前已有数百个可用的连接器,包含连接 Dataproc、BigQuery 等关键服务的连接器。
Apache Kafka 可提供长期的存储服务。Kafka 可以作为“真实来源”,将数据分发在多个节点上,以实现单个数据中心内或多个可用区的高可用用途部分。