HADOOP背景介紹

1. HADOOP背景介紹

1.1 什麼是HADOOP

1. HADOOP是apache旗下的一套開源軟件平臺

2. HADOOP提供的功能：利用服務器集羣，根據用戶的自定義業務邏輯，對海量數據進行分佈式處理

3. HADOOP的核心組件有

A. HDFS（分佈式文件系統）

B. YARN（運算資源調度系統）

C. MAPREDUCE（分佈式運算編程框架）

4. 廣義上來講，HADOOP一般是指一個更普遍的概念——HADOOP生態圈

1.2 HADOOP產生背景

1. HADOOP最先起源於Nutch。Nutch的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨着抓取網頁數量的增長，遇到了嚴重的可擴展性問題——如何解決數十億網頁的存儲和索引問題。

2. 2003年、2004年谷歌發表的兩篇論文爲該問題提供了可行的解決方案。

——分佈式文件系統（GFS），可用於處理海量網頁的存儲

——分佈式計算框架MAPREDUCE，可用於處理海量網頁的索引計算問題。

3. Nutch的開發人員完成了相應的開源實現HDFS和MAPREDUCE，並從Nutch中剝離成爲獨立項目HADOOP，到2008年1月，HADOOP成爲Apache頂級項目，迎來了它的快速發展期。

1.3 HADOOP在大數據、雲計算中的位置和關係

1. 雲計算是分佈式計算、並行計算、網格計算、多核計算、網絡存儲、虛擬化、負載均衡等傳統計算機技術和互聯網技術融合發展的產物。藉助IaaS(基礎設施即服務)、PaaS(平臺即服務)、SaaS（軟件即服務）等業務模式，把強大的計算能力提供給終端用戶。

 

2. 現階段，雲計算的兩大底層支撐技術爲「虛擬化」和「大數據技術」

 

3. 而HADOOP則是雲計算的PaaS層的解決方案之一，並不等同於PaaS，更不等同於雲計算自己。

 

 

 

 

1.4 國內外HADOOP應用案例介紹

1、HADOOP應用於數據服務基礎平臺建設

 

 

 

2/HADOOP用於用戶畫像

 

 

 

3、HADOOP用於網站點擊流日誌數據挖掘

 

 

1.5 國內HADOOP的就業狀況分析

一、 HADOOP就業總體狀況

A. 大數據產業已歸入國家十三五規劃

B. 各大城市都在進行智慧城市項目建設，而智慧城市的根基就是大數據綜合平臺

C. 互聯網時代數據的種類，增加都呈現爆發式增加，各行業對數據的價值日益重視

D. 相對於傳統JAVAEE技術領域來講，大數據領域的人才相對稀缺

E. 隨着現代社會的發展，數據處理和數據挖掘的重要性只會增不會減，所以，大數據技術是一個尚在蓬勃發展且具備長遠前景的領域

 

 

二、 HADOOP就業職位要求

大數據是個複合專業，包括應用開發、軟件平臺、算法、數據挖掘等，所以，大數據技術領域的就業選擇是多樣的，但就HADOOP而言，一般都須要具有如下技能或知識：

A. HADOOP分佈式集羣的平臺搭建

B. HADOOP分佈式文件系統HDFS的原理理解及使用

C. HADOOP分佈式運算框架MAPREDUCE的原理理解及編程

D. Hive數據倉庫工具的熟練應用

E. Flume、sqoop、oozie等輔助工具的熟練使用

F. Shell/python等腳本語言的開發能力

 

三、 HADOOP相關職位的薪資水平

大數據技術或具體到HADOOP的就業需求目前主要集中在北上廣深一線城市，薪資待遇廣泛高於傳統JAVAEE開發人員，以北京爲例：

 

 

 

 

1.6 HADOOP生態圈以及各組成部分的簡介

 

 

各組件簡介

 

 

重點組件：

HDFS：分佈式文件系統

MAPREDUCE：分佈式運算程序開發框架

HIVE：基於大數據技術（文件系統+運算框架）的SQL數據倉庫工具

HBASE：基於HADOOP的分佈式海量數據庫

ZOOKEEPER：分佈式協調服務基礎組件

Mahout：基於mapreduce/spark/flink等分佈式運算框架的機器學習算法庫

Oozie：工做流調度框架

Sqoop：數據導入導出工具

Flume：日誌數據採集框架