hadoop2.x包括4個模塊:網絡
common: hadoop的公共模塊,之前叫core。包括通訊模塊等等。。。框架
HDFS: 分佈式文件系統。分佈式
YARN: 任務調度和集羣管理框架;是一個雲操做系統/平臺/框架(上面能夠放不少任務不少服務);是管理和調度集羣資源(CPU、內存、硬盤、網絡)/服務的。oop
MapReduce: 並行的離線的計算框架,是基於YARN/雲並行的大數據集計算框架,是用來並行處理大數據集的。大數據
hadoop2.x比hadoop1.x優化:優化
HDFS比1.x增長了不少新特性:(NameNode是管理元數據/Namespace的 : 好比說,存儲文件屬性、文件、塊block、DataNode)spa
(最重要之一)NameNode的單點故障:使用了NameNode的HA,NameNode有熱備的,當活動的NameNode出現故障後,就會啓動熱備的NameNode。操作系統
(最重要之二)NameNode的節點內存限制:使用了federation(由於現實生產中NameNode是放到一臺機子上的,若是一個NameNode內存不夠了,federation使其餘的NameNode分擔它的壓力)。內存