kafka基本概念

broker: 消息处理结点,多个broker组成kafka集群。
topic: 一类消息,如page view,click行为等。
partition: topic的物理分组,每个partition都是一个有序队列。
replica:partition 的副本,保障 partition 的高可用。
producer: 产生信息的主体,可以是服务器日志信息等。
consumer: 消费producer产生话题消息的主体。
Consumer group:high-level consumer API 中,每个 consumer 都属于一个 consumer group,每条消息只能被 consumer group 的一个 Consumer 消费,但可以被多个 consumer group 消费。
segment: 多个大小相等的段组成了一个partition。
offset: 一个连续的用于定位被追加到分区的每一个消息的序列号,最大值为64位的long大小,19位数字字符长度。
massage: kafka中最基本的传递对象,有固定格式。
zookeeper:kafka 通过 zookeeper 来存储集群的 meta 信息。
controller:kafka 集群中的其中一个服务器,用来进行 leader election 以及 各种 failover。
标签: 、面试
  • 回复
隐藏