大數據開發面試部分:Hadoop 如何應對某些節點運行較慢的問題(大數據開發面試)

Hadoop 中通過拆分任務到多個節點運行來實現並行計算,但某些節點運行較慢會拖慢整個任務的運行,Hadoop  採用何種機制應對這個情況?   推測執行機制是 Hadoop 對「拖後腿」的任務的一種優化機制,當一個作業的某些任務運行速度明顯慢於同作業的其他任務時,Hadoop 會在另一個節點 上爲「慢任務」啓動一個備份任務,這樣兩個任務同時處理一份數據,而 Hadoop 最終會將優先完成的那個任
相關文章
相關標籤/搜索