Kafka 高性能原因

顺序写入:顺序写入与随机写入速度相差高达6000倍

批量处理:使用消息累加器仅多个消息批量发送,既节省带宽有提高了发送速度

消息压缩:kafka支持队消息压缩,支持格式有:gzip、snapply、lz4,可以使用compression.type配置

页缓存:在消息发送后,并没有等到消息写入磁盘后才返回,而是到page Cache中就返回。page Cache与文件系统的写入由操作系统自动完成

零拷贝(zero-copy):Kafka两个重要过程都使用了零拷贝技术,且都是操作系统层面的狭义零拷贝,一是Producer生产的数据存到broker,二是 Consumer从broker读取数据。

标签: 、面试
  • 回复
隐藏