大數據面試題-框架原理篇

一 請闡述mapreduce的運行機制   1. 文件被按128M大小進行分割。     分割是對每個文件單獨進行對，不會把所有對文件看成一個整體。 2. 分割後的每個文件塊就啓動一個map task去處理其數據。 3. 在map task中，數據被處理成kv對的形式，首先放入一個環形緩衝區中。     MapoutputCollector負責收集數據到環形緩衝區中。 4. 當環形緩衝區的容量使用

>>阅读原文<<