Hadoop生態系統、Hadoop虛擬機環境、Hadoop環境搭建及安裝（含安裝包與教程）

時間 2019-11-08

原文原文鏈接

hadoop視頻講解:https://www.cniao5.com/course/10244

1.1Hadoop簡介

1.1.1Hadoop的誕生

Hadoop是由Apache Lucene創始人Doug Cutting建立的。它起源於開源搜索引擎Apache Nutch。Nutch項目開始於2002年，是一個能夠運行的網頁爬取工具和搜索引擎系統，可是這個系統沒法解決數十億的搜索問題。html

三篇劃時代論文的誕生對Hadoop的誕生起到了決定性做用。數據庫

第一篇論文：GFS

2003年穀歌發表了「The Google File System（谷歌文件系統，簡稱GFS）」的論文，GFS的架構可以知足在網頁爬取和索引過程當中產生的超大文件的存儲需求。因而，在2004年Nutch團隊開始作GFS的開源版本實現，也就是Nutch分佈式文件系統（NDFS）。apache

第二篇論文：MapReduce

2004年穀歌發表了「MapReduce：Simplified Data Processing on Large Cluster（大型集羣的數據簡化處理）」的論文。2005年，Nutch團隊在Nutch上實現了MapReduce。架構

2006年2月，Nutch開發人員將NDFS和MapReduce移除Nutch造成一個獨立的項目，命名爲Hadoop。這個名字不是縮寫，是生造出來的。框架

第三篇：BigTable

2006年穀歌發表了「BigTable：A Distributed Storage System for Structured Data（一個結構化數據的分佈式存儲系統）」的論文。Powerset公司根據BigTable的思想，發起了HBase，即Hadoop Database。less

1.1.2Hadoop重要里程碑

2008年1月，Hadoop成爲Apache的頂級項目。背後主要的公司爲雅虎，主要用Hadoop來支撐雅虎的搜索引擎系統。機器學習

2013年 Hadoop 2.0發佈
2017年 Hadoop 3.0 發佈分佈式

1.1.3Hadoop主要發行版本

Apache Hadoop原始版本
Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，簡稱「CDH」）
Hortonworks版本（Hortonworks Data Platform，簡稱「HDP」）
MapR
此外，還有一些其餘的發行版，如華爲、Intel等。工具

1.2Hadoop生態系統

Hadoop從最開始的HDFS和MapReduce發展至今，已經造成一個龐大的生態系統。主要包括：
HDFS：分佈式文件系統
YARN：資源管理與調度系統
MapReduce：分佈式處理框架
Pig、Hive：類SQL的數據查詢
Mahout、Spark MLib：機器學習庫
HBase：分佈式列數據庫
Zookeeper：集羣管理
Oozie：任務調度
Flume、Sqoop：數據導入導出
Solr&Lucene：搜索與索引
Ambari：集羣監控與維護
oop