hiveSQL調優

數據經過iputformat進行節分格式化，輸入map，執行計算，map輸出將數據寫到緩衝區，並計算分區（上圖標註地方有問題），當寫到一定的閥值會spill到磁盤，並進行排序，當map執行完會將各個map寫出的小文件進行歸併排序。map執行完後reduce會起一個fechoutservlet將數據拷貝到reduce節點，並進行合併排序，送入redcue，執行計算。做過服務端開發同學知道，圖上的每個

>>阅读原文<<