大數據-MR的運行原理

對上訴圖片的詳細解釋 計算切片： 有幾個切片就有幾個map task 環形緩存區： 經過map函數的邏輯處理後的數據輸出之後，會通過OutputConllector收集器將數據收集到環形緩存區保存 環形緩存區的大小默認100M 當保存的數據達到80%時 就將緩存區的數據溢出到磁盤上保存 溢出 環形緩存區的數據達到其容量的80%時就會溢出到磁盤上進行保存 在此過程中 程序會對數據進行分區(默認Has

>>阅读原文<<