大數據零基礎學習hadoop入門教程

一、Hadoop生態概況

Hadoop是一個由Apache基金會所開發的分佈式系統集成架構，用戶能夠在不瞭解分佈式底層細節狀況下，開發分佈式程序，充分利用集羣的威力來進行高速運算與存儲，具備可靠、高效、可伸縮的特色

Hadoop的核心是YARN,HDFS,Mapreduce,經常使用模塊架構以下

 

二、HDFS

源自谷歌的GFS論文，發表於2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop體系中數據存儲管理的基礎，它是一個高度容錯的系統，能檢測和應對硬件故障

HDFS簡化了文件一致性模型，經過流式數據訪問，提供高吞吐量應用程序數據訪問功能，適合帶有大型數據集的應用程序，它提供了一次寫入屢次讀取的機制，數據以塊的形式，同時分佈在集羣不一樣物理機器

三、Mapreduce

源自於谷歌的MapReduce論文，用以進行大數據量的計算，它屏蔽了分佈式計算框架細節，將計算抽象成map和reduce兩部分

四、HBASE(分佈式列存數據庫)

源自谷歌的Bigtable論文，是一個創建在HDFS之上，面向列的針對結構化的數據可伸縮，高可靠，高性能分佈式和麪向列的動態模式數據庫

五、zookeeper

解決分佈式環境下數據管理問題，統一命名，狀態同步，集羣管理，配置同步等

六、HIVE

由Facebook開源，定義了一種相似sql查詢語言，將SQL轉化爲mapreduce任務在Hadoop上面執行

七、flume

日誌收集工具

八、yarn分佈式資源管理器

是下一代mapreduce，主要解決原始的Hadoop擴展性較差，不支持多種計算框架而提出的，架構以下

 
對大數據以及人工智能概念都是模糊不清的，該按照什麼線路去學習，學完往哪方面發展，想深刻了解，想學習的同窗歡迎加入大數據學習裙：606859705，有大量乾貨（零基礎以及進階的經典實戰）分享給你們，讓你們瞭解到目前國內最完整的大數據高端實戰實用學習流程體系 。從java和linux入手，其後逐步的深刻到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相關知識一一分享！

 

九、spark

spark提供了一個更快更通用的數據處理平臺，和Hadoop相比，spark可讓你的程序在內存中運行

十、kafka

分佈式消息隊列，主要用於處理活躍的流式數據

十一、Hadoop僞分佈式部署

目前而言，不收費的Hadoop版本主要有三個，都是國外廠商，分別是

一、Apache原始版本

二、CDH版本，對於國內用戶而言，絕大多數選擇該版本

三、HDP版本

這裏咱們選擇CDH版本hadoop-2.6.0-cdh5.8.2.tar.gz，環境是CentOS7.1，jdk須要1.7.0_55以上

[root@hadoop1 ~]# useradd hadoop

個人系統默認自帶的java環境以下

 

 

增長以下環境變量

 

 

作好以下受權

 

 

這裏以Hadoop用戶來進行管理和啓動Hadoop的各類服務

 

 

查看服務啓動狀況