吊打面試官之mapreduce原理

mapreduce原理 1.有一個待處理的大數據,被劃分爲大小相同的數據塊(如64MB),及與此相應的用戶作業程序 2.系統中有一個負責調度的主節點(Master),以及數據Map和Reduce工作節點(Worker) 3.用戶作業程序提交給主節點 4.主節點爲作業程序尋找和配備可用的Map節點,並將程序傳送 5.主節點也爲作業程序尋找和配備可用的Reduce節點,並將程序傳送給Reduce節點
相關文章
相關標籤/搜索