爲什麼map分片大小要與塊大小相同?

2019獨角獸企業重金招聘Python工程師標準>>> 所有的省時間優化,主要是講Hadoop採用的數據本地優化,避免浪費寶貴的網絡帶寬,但是有時候對於一個Map任務輸入來說,儲存有某個HDFS數據塊備份的三個節點可能正在運行其他map任務,此時作業調度,也就是所謂的JobTracker需在三個備份中的某個數據尋求同個機架中的空閒機器來運行該map任務。 所以我們應該清楚了爲什麼最佳分片大小應該與
相關文章
相關標籤/搜索