MapReduce Mapper数量计算

mapreduce.input.fileinputformat.split.minsize //启动map最小的split size大小,默认0

mapreduce.input.fileinputformat.split.maxsize //启动map最大的split size大小,默认256M

dfs.block.size//block块大小,默认64M

计算公式:

splitSize = Math.max(minSize, Math.min(maxSize, blockSize));


例如默认情况下:例如一个文件800M,Block大小是128M,那么Mapper数目就是7个。6个Mapper处理的数据是128M,1个Mapper处理的数据是32M;

再例如一个目录下有三个文件大小分别为:5M10M 150M 这个时候其实会产生四个Mapper处理的数据分别是5M,10M,128M,22M。

标签: mapper、128m、split、minsize、fileinputformat、面试
  • 回复
隐藏