【hadoop】1.簡介

簡介

經過本教程您能夠學習到

1. hadoop是什麼？
2. hadoop能解決什麼問題？
3. hadoop的生態環境如何？

一、hadoop是什麼

1）Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構

2）主要解決，海量數據的存儲和海量數據的分析計算問題。

3）廣義上來講，HADOOP一般是指一個更普遍的概念——HADOOP生態圈

二、Hadoop發展歷史

1）Lucene--Doug Cutting開創的開源軟件，用java書寫代碼，實現與Google相似的全文搜索功能，它提供了全文檢索引擎的架構，包括完整的查詢引擎和索引引擎

2）2001年年末成爲apache基金會的一個子項目

3）對於大數量的場景，Lucene面對與Google一樣的困難

4）學習和模仿Google解決這些問題的辦法 ：微型版Nutch

5）能夠說Google是hadoop的思想之源(Google在大數據方面的三篇論文) GFS --->HDFS Map-Reduce --->MR BigTable --->Hbase

6）2003-2004年，Google公開了部分GFS和Mapreduce思想的細節，以此爲基礎Doug Cutting等人用了2年業餘時間實現了DFS和Mapreduce機制，使Nutch性能飆升

7）2005 年Hadoop 做爲 Lucene的子項目 Nutch的一部分正式引入Apache基金會。2006 年 3 月份，Map-Reduce和Nutch Distributed File System (NDFS) 分別被歸入稱爲 Hadoop 的項目中

8）名字來源於Doug Cutting兒子的玩具大象  9）Hadoop就此誕生並迅速發展，標誌這雲計算時代來臨

三、Hadoop三大發行版本

1）Apache版本: 最原始（最基礎）的版本，對於入門學習最好。

2）Cloudera在大型互聯網企業中用的較多。

3）Hortonworks文檔較好。

1.4 Hadoop的優點

1）高可靠性：由於Hadoop假設計算元素和存儲會出現故障，由於它維護多個工做數據副本，在出現故障時能夠對失敗的節點從新分佈處理。

2）高擴展性：在集羣間分配任務數據，可方便的擴展數以千計的節點。

3）高效性：在MapReduce的思想下，Hadoop是並行工做的，以加快任務處理速度。

4）高容錯性：自動保存多份副本數據，而且可以自動將失敗的任務從新分配。

二、Hadoop組成

1）Hadoop HDFS：一個高可靠、高吞吐量的分佈式文件系統。

2）Hadoop MapReduce：一個分佈式的離線並行計算框架。

3）Hadoop YARN：做業調度與集羣資源管理的框架。

4）Hadoop Common：支持其餘模塊的工具模塊。

2.1 HDFS架構概述

1）NameNode（nn）：存儲文件的元數據，如文件名，文件目錄結構，文件屬性（生成時間、副本數、文件權限），以及每一個文件的塊列表和塊所在的DataNode等。

2）DataNode(dn)：在本地文件系統存儲文件塊數據，以及塊數據的校驗和。

3）Secondary NameNode(2nn)：用來監控HDFS狀態的輔助後臺程序，每隔一段時間獲取HDFS元數據的快照。

2.2 YARN架構概述

1）ResourceManager(rm)：處理客戶端請求、啓動/監控ApplicationMaster、監控NodeManager、資源分配與調度；

2）NodeManager(nm)：單個節點上的資源管理、處理來自ResourceManager的命令、處理來自ApplicationMaster的命令；

3）ApplicationMaster：數據切分、爲應用程序申請資源，並分配給內部任務、任務監控與容錯。

4）Container：對任務運行環境的抽象，封裝了CPU、內存等多維資源以及環境變量、啓動命令等任務運行相關的信息。

2.3 MapReduce架構概述

MapReduce將計算過程分爲兩個階段：Map和Reduce

• Map階段並行處理輸入數據
• Reduce階段對Map結果進行彙總

3. 兩個體系圖

3.1 大數據生態體系圖

3.2 大數據推薦系統框架圖

參考

本系列的文章參考資料來源有3個地方：

1. 尚硅谷官方大數據教學視頻。
2. 書籍《hadoop權威指南 第四版》
3. 書籍《Spark快速大數據分析》
4. 書籍《數據算法——H/Spark大數據處理技巧》
5. 官方文檔。

若是有些章節忘記填寫請原諒。第3和第4相關的內容可能在本系列牽涉很少，期待後期本身不懶，多多分享。

資源獲取

1. 相關軟件包下載地址: 連接: https://pan.baidu.com/s/1cQG9I2OhIwglXG3FufCq3w 提取碼: d8gx
2. 本系列全部代碼下載: Github: https://github.com/joyblack/hadoop-learn

若是對您有幫助，別忘了點個start喲~~~