-
时海reduceByKey：
reduceByKey会在结果发送至reducer之前会对每个mapper在本地进行merge，有点类似于在MapReduce中的combiner。这样做的好处在于，在map端进行一次reduce之后，数据量会大幅度减小，从而减小传输，保证reduce端能够更快的进行结果计算。
groupByKey：
groupByKey会对每一个RDD中的value值进行聚合形成一个序列(Iterator)，此操作发生在reduce端，所以势必会将所有的数据通过网络进行传输，造成不必要的浪费。同时如果数据量十分大，可能还会造成OutOfMemoryError。
通过以上对比可以发现在进行大量数据的reduce操作时候建议使用reduceByKey。不仅可以提高速度，还是可以防止使用groupByKey造成的内存溢出问题。
-
（1）groupByKey()是对RDD中的所有数据做shuffle,根据不同的Key映射到不同的partition中再进行aggregate。
（2）aggregateByKey()是先对每个partition中的数据根据不同的Key进行aggregate，然后将结果进行shuffle，完成各个partition之间的aggregate。因此，和groupByKey()相比，运算量小了很多。
(3) distinct()也是对RDD中的所有数据做shuffle进行aggregate后再去重。
（4）reduceByKey()也是先在单台机器中计算，再将结果进行shuffle，减小运算量
上一题：spark 如何防止内存溢出？
下一题：Spark有哪些优化方法
标签： aggregate、shuffle、groupbykey、partition、aggregatebykey
笔试题
刷题
简历模板
AI算法
大数据
内推
内推：
