Hadoop MapReduce任務的執行過程

注:本文注重原理介紹,較少涉及編程實現,有錯誤請指正,感謝~web 在進入正文以前須要瞭解這幾個概念:編程 HDFS:能夠先簡單理解爲它是一個大型分佈式的文件系統,裏面存放了大量文件,也能夠理解爲放着俗稱的大數據。網絡 數據塊:HDFS中的數據以數據塊爲單位存放,默認是64MB,HDFS中的文件可能遠遠大於64MB,它被分割成不少個數據塊,存放在集羣上,數據塊不必定存放在一臺機器上,也不必定是連續
相關文章
相關標籤/搜索