天天看点

hadoop 输出的 *-m-0000文件和*-r-0000文件

临时记录,仅供参考

在MR项目中,当Reduce函数中有落盘操作,且指定CombinerClass为Reduce函数,则输出结果文件为多个包含“-m-”的文件,如果不指定CombinerClass,则生成文件为包含“-r-”的单个文件。

总结:MR程序在不同阶段落盘,生成的文件名和数量存在差异。

继续阅读