LEO 、HW、LSO、LW等分别代表什么

  • LEO: 是 LogEndOffset 的简称,代表当前日志文件中下一条
  • HW: 水位或水印(watermark)一词,也可称为高水位(high watermark),通常被用在流式处理领域(比如Apache Flink、Apache Spark等),以表征元素或事件在基于时间层面上的进度。 在Kafka中,水位的概念反而与时间无关,而是与位置信息相关。 严格来说,它表示的就是位置信息,即位移(offset)。 取 partition 对应的 ISR中 最小的 LEO 作为 HW,consumer 最多只能消费到 HW 所在的位置上一条信息。
  • LSO: 是 LastStableOffset 的简称, 对未完成的事务而言,LSO 的值等于事务中第一条消息的位置(firstUnstableOffset),对已完成的事务而言,它的值同 HW 相同
  • LW:Low Watermark 低水位, 代表 AR 集合中最小的 logStartOffset 值。
标签: 、面试
  • 回复
隐藏