零基礎學習大數據Hadoop須要什麼準備？Hadoop如何發展起來的？

Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構，是用Java語言開發的一個開源分佈式計算平臺，適合大數據的分佈式存儲和計算平臺。今天加米穀大數據就來簡單介紹一下Hadoop的簡史，以及學習Hadoop前要作哪些準備。 狹義上，Hadoop就是單獨指代Hadoop這個軟件；

廣義上，Hadoop指代大數據的一個生態圈，包括不少其餘的軟件。

Hadoop的起源

一、2001年，Nutch問世。Nutch的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨着抓取網頁數量的增長，遇到了嚴重的可擴展性問題；

二、2003-2004年，Google發佈論文：GFS、MapReduce，受此啓發的Doug Cutting等人實現了NDFS（HDFS的前身）和MapReduce機制，使Nutch性能飆升；

GFS：Google的分佈式文件系統Google File System

MapReduce：Google的MapReduce開源分佈式並行計算框架

三、2005年，Hadoop做爲Lucene的子項目Nutch的一部分正式引入Apache基金會；

四、2006年，Hadoop（HDFS+MapReduce）從Nutch中剝離成爲獨立項目。Doug Cutting加入Yahoo，領導Hadoop的開發。

.在入門學習大數據的過程中有碰見學習，行業，缺少系統學習路線，系統學習規劃，歡迎你加入個人大數據學習交流裙：529867072 ，裙文件有我這幾年整理的大數據學習手冊，開發工具，PDF文檔書籍，你能夠自行下載。

Hadoop的發展簡史

五、2006年，Apache Hadoop項目正式啓動以支持MapReduce和HDFS的獨立發展；Yahoo建設了第一個Hadoop集羣用於開發；4月，第一個Apache Hadoop發佈；11月，Google發表了Bigtable論文，Hbase的建立的靈感來源；

BigTable：一個大型的分佈式數據庫

演變關係：

GFS—->HDFS

Google MapReduce—->Hadoop MapReduce

BigTable—->HBase

六、2007年，第一個Hadoop用戶組會議召開，社區貢獻開始急劇上升；同年，Facebook開始使用Hadoop，百度開始使用Hadoop作離線處理，中國移動開始研究使用Hadoop；

七、2008年，Hive、HBase問世，Hadoop成爲Apache頂級項目。8月，第一個Hadoop商業化公司Cloudera成立。同年，淘寶開始使用Hadoop；

八、2009年-2012年，Hadoop不斷髮展。

2009年Cloudera推出CDH平臺（首個Hadoop發行版），徹底由開放源碼軟件組成。《Hadoop權威指南》第一版出版（被譽爲Hadoop聖經）；2010年，HBase、Hive( Facebook) 、Pig脫離Hadoop，均成爲Apache頂級項目；Hadoop社區創建大量新組件（Crunch，Sqoop，Flume，Oozie等）來擴展Hadoop的使用場景和可用性；2011年，ZooKeeper 脫離Hadoop，成爲Apache頂級項目；加米穀大數據培訓機構，6月大數據開發0基礎班、提升班，即將開課，預報名中... 2012年，Yarn成爲Hadoop子項目；

九、2014年，Spark逐漸代替MapReduce成爲Hadoop的缺省執行引擎，併成爲Apache基金會頂級項目。

Hadoop能幹什麼？

大數據存儲：分佈式存儲

日誌處理：擅長日誌分析

ETL：數據抽取到oracle、mysql、DB二、mongdb及主流數據庫

機器學習: 好比Apache Mahout項目

搜索引擎：Hadoop + lucene實現

數據挖掘：目前比較流行的廣告推薦，個性化廣告推薦

Hadoop是專爲離線和大規模數據分析而設計的，並不適合那種對幾個記錄隨機讀寫的在線事務處理模式。

學習Hadoop前的準備：

準備電腦（用於學習）：內存最少8G、CPU起碼四核（cpu i5 系列）

支持平臺：Linux(CentOS)（產品開發和運行的平臺）

所需軟件：以Linux爲例

Java8.0，必須安裝，建議選擇Oracle公司發行的Java版本。 ssh 必須安裝而且保證 sshd一直運行，以便用Hadoop 腳本管理遠端Hadoop守護進程。 安裝所需軟件：以Linux爲例

$ sudo yum install ssh

$ sudo yum install rsync

下載Hadoop的發行版並解壓安裝