分类：MapReduce框架

2021
07-08

Java基础之MapReduce框架总结与扩展知识点

目录一、MapTask工作机制二、MapTask工作流程：三、ReduceTask工作机制四、ReduceTask工作流程：五、数据清洗（ETL）六、计数器应用七、计数器案例八、MapReduce总结一、MapTask工作机制MapTask就是Map阶段的job，它的数量由切片决定二、MapTask工作流程：1.Read阶段：读取文件，此时进行对文件数据进行切片(InputFormat进行切片)，通过切片，从而确定MapTask的数量,切片中包含数据和key(偏移量)2.Map阶段：这个阶段是针对数据进行... 继续阅读 >