1)storm开启了acker机制,可以设置conf.setmaxspoutpending参数来实现反压效果。当下游bolt跟不上上游的spout发送的tuple时,spout会停止发送数据。
2)新的Storm自动反压机制,监控bolt中的接收队列,当超过高水位时专门的线程把反压信息写入到zookeeper中。zookeeper上watch会通知所有worker进程反压,Spout降低tuple发送的速度。
浙公网安备 33010602006230号
浙ICP备14015892号