Flink中在使用聚合函数 GroupBy、Distinct、KeyBy 等函数时出现数据热点如何解决?

·在业务上规避这类问题单独处理热点的数据。

·Key的设计上把热key进行拆分,如:北京按照地区进行拆分聚合。

·参数设置Flink 1.9.0 SQL性能优化中升级了微批模型MiniBatch。原理是缓存一定的数据后再触发处理,减少对状态访问提升吞吐减少数据的输出量。

更多精选文章
标签:
一个创业中的苦逼程序员
笔试题


刷题


简历模板


AI算法


大数据


内推


推荐阅读:
阿里巴巴笔试面试大全
腾讯笔试面试大全
百度笔试面试大全
今日头条笔试面试大全
网易笔试面试大全
Google笔试面试大全
更多笔试面试大全
隐藏