storm的如何处理反压机制?

1)storm开启了acker机制,可以设置conf.setmaxspoutpending参数来实现反压效果。当下游bolt跟不上上游的spout发送的tuple时,spout会停止发送数据

2)新的Storm自动反压机制,监控bolt中的接收队列,当超过高水位时专门的线程把反压信息写入到zookeeper中。zookeeper上watch会通知所有worker进程反压,Spout降低tuple发送的速度

标签: 反压、spout、storm、bolt、tuple、面试
猜你感兴趣的圈子:
拜托了冰箱
  • 回复
隐藏