從零自學Hadoop(10)：Hadoop1.x與Hadoop2.x

時間 2019-12-14

標籤自學 hadoop hadoop1.x hadoop2.x 欄目 Hadoop 简体版

原文原文鏈接

閱讀目錄

本文版權歸mephisto和博客園共有，歡迎轉載，但須保留此段聲明，並給出原文連接，謝謝合做。html

文章是哥(mephisto)寫的，SourceLinknode

序

　　上一篇，咱們使用Maven構建了個人MapReduce程序，而且成功的運行了Job。那麼你們可能會以爲爲何要這麼作，有沒有些理論依據，畢竟對hadoop的功能，特色有了瞭解後，作事情會內心稍微有點底。因此咱們開始補些理論知識。服務器

　　下面，咱們就開始比較下Hadoop1.x與Hadoop2.x，感覺下產品迭代的快樂。架構

　　申明，這一篇幅的圖都是網上找的，就不打水印了，作人得厚道。app

里程碑

一：里程碑

　　2003-2004年 Doug Cutting和Mike Cafarella利用業餘時間實現了HDFS和MapReduce機制。框架

　　2005年做爲Lucene的子項目Nutch正式引入Apache基金會oop

　　2006年MapReduce,NDFS分別被歸入Hadoop項目中spa

　　2010年發佈0.20.2：security append日誌

　　2011年12月0.20.線路發佈1.0版本orm

　　2012年發佈1.04

　　2011年10月份發佈0.23.0：開始有了Yarn

　　2012年3月份發佈2.0.0：alpha

　　2013年發佈2.1.0：beta

　　2013年10月發佈2.2.0：穩定版。很重要的版本，Yarn,High Availability for HDFS,HDFS Federation,HDFS Snapshots,Support for running Hadoop on Microsoft Windows

　　2014年11月發佈2.6.0：很重要的版本，好比密鑰管理服務器，憑證提供，支持SSD,熱插拔DataNode,long running services in YARN,Support for rolling upgrades等。

　　2015年4月發佈2.7.0：放棄了jdk1.6,不是穩定版，支持支持文件截斷，Make YARN authorization pluggable等。

　　2015年7月發佈2.7.1：2.7線路的穩定版。

　　2015年9月23號發佈2.6.1：2.6線路的版本，修復了不少bug。

Hadoop1.x與Hadoop2.x

一：架構比較

　　Hadoop1.x中1的NameNodes只可能有一個，雖然能夠經過SecondaryNameNode與NameNode進行數據同步備份，可是總會存在必定的時延，若是NameNode掛掉，可是若是有部份數據尚未同步到SecondaryNameNode上，仍是可能會存在着數據丟失的問題。

　　Hadoop2.x中，HDFS的變化，主要體如今加強了NameNode的水平擴展及可用性，能夠同時部署多個NameNode，這些NameNodes之間是相互獨立，也就是說他們不須要相互協調，DataNode同時在全部NameNodes註冊，作爲他們共有的存儲節點，並向定時向全部的這些NameNodes發送心跳塊使用狀況的報告，並處理全部NameNodes向其發送的指令。

　　Hadoop2.x中將MapReduce分紅兩部門，造成了Yarn（雲資源管理系統），從而擴展出不少新的玩法。

二：定位

　　從圖中，咱們能夠看到Hadoop1.x是單一功能使用系統，Hadoop2.x是多用途平臺。2.x開始，hadoop的功能加強了許多，能夠適合不少地方。

三：特性：

　　Hadoop1.x：批量應用

　　Hadoop2.x：批量應用，交互式，實時性，流式，內存計算。

四：HDFS與HDFS2

　　HDFS2多了高可用性。

五：MapReduce

　　Hadoop2.x中將原來1.x中的MapReduce的功能分開了，只保留了數據處理。將集羣資源管理放到了Yarn中。從而讓2.x的生態圈極大的擴展。

六：Hadoop2.x中HDFS架構

　　圖中，咱們能夠看到一個NameNode(Active)還有一個NameNode(Standby)。這二者中間有JournalNode，放鏡像文件，編輯日誌文件。使用Zookeeper來保證故障轉移，從而實現HA。還具備聯邦的功能，

七：Yarn架構圖

　　Hadoop發展到了2.6.0，Yarn也有了HA。Yarn把Datanode和應用的執行狀態都存在RMStateStore上面。從而具備long running services,Support for rolling upgrades。任務掛了就不用從新跑了。太牛的功能了。

八：生態應用

　　Hadoop1.x其餘的生態應用都是基於MapReduce上面的，可是到了Hadoop2.x，他將資源管理的的放到了Yarn，那麼其餘的生態應用，能夠基於MapReduce的計算框架，也能夠選擇Tez(DAG計算框架),Storm（流式計算框架）。因此使用範圍大大的擴展開來。

--------------------------------------------------------------------

　　到此，本章節的內容講述完畢。