-
(1)、数据倾斜的现象
- 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。
-
(2)、数据倾斜的原因
-
数据问题
- 1、key本身分布不均衡（包括大量的key为空）
- 2、key的设置不合理
-
spark使用问题
- 1、shuffle时的并发度不够
- 2、计算方式有误
-
数据问题
-
(3)、数据倾斜的后果
- 1、spark中的stage的执行时间受限于最后那个执行完成的task,因此运行缓慢的任务会拖垮整个程序的运行速度（分布式程序运行的速度是由最慢的那个task决定的）。
- 2、过多的数据在同一个task中运行，将会把executor撑爆。
上一题：Spark有哪些优化方法
标签： 倾斜、task、后果、spark、key
笔试题
刷题
简历模板
AI算法
大数据
内推
内推：
