HBase、HDFS和MapReduce架構異同簡解

HBase、HDFS和MapReduce架構異同

..	HBase（公司架構模型）	HDFS2.0（公司架構模型）	MR2.0（公司架構模型）	MR1.0（公司架構模型）
中央	HMaster	NameNode(NN)	ResourceManger(RM)	JobTracker(JT)
地方	HRegionServer(HRS)	DataNode(DN)	NodeManager(NM)	TaskTracker(TT)
監控協調者	ZooKeeper	ZooKeeper	ZooKeeper	無
是否有HA	HMaster-backups	NN（Standby）	RM（Standby）	無，存在單點故障
故障轉移方式	1.HMaster與ZooKeeper直接通信（誰先創建znode，則誰爲active） 2.HRegionServer與ZooKeeper直接通信	NM不與ZooKeeper直接通信，ZKFC監控NM狀態，ZKFC與ZK通信，由ZKFC來參與選舉（誰先創建znode，則誰爲active）	RM直接與ZK直接通信，誰先創建znode，則誰爲active	無，存在單點故障
地方故障誰負責恢復和轉移	HMaster	NameNode	ResourceManager	JobTracker
中央與地方的通信	HRegionServer與ZK心跳，HMaster從ZK獲取HRS狀態	DN週期性向NN彙報	NM週期性向RM彙報	TT週期性向JT彙報
中央的共同職責	1. 負責地方任務的分配和故障轉移 2. 監聽地方的健康狀態（HMaster從ZooKeeper獲取HRegionServer的狀態） 3. 地方資源的分配
中央各特色	分配HRegionServer上的Region	分配DN的block	分配NM上container上的任務	分配TaskTracker上的task
負載均衡	HRS上region的負載均衡	block的負載均衡
特色	1.Region的預分區、分裂和合並 2.Compaction機制 3.WAL機制 4.讀寫流程	1.副本策略 2.數據寫入的副本管道傳輸機制 3.聯邦制	1.資源調度和應用管理獨立進程 2.NM上節點資源由NM管理，ApplicationManager和 AppliactionMaster管理任務 3.container概念	1.將資源劃分爲等量以slot爲單位2.maptask和reducetask獨立分配