title: Hadoop的介紹
date: 2019/11/20 08:16:25
updated: 2019/11/20 21:52:30
comments: true
tags:java
Hadoop
categories:linux
- BigData
1.x版本系列:hadoop版本當中的第二代開源版本,主要修復0.x版本的一些bug等
2.x版本系列:架構產生重大變化,引入了yarn平臺等許多新特性
3.x版本系列: 加入多namenoode新特性c++
http://hadoop.apache.org/
優勢:擁有全世界的開源貢獻者,代碼更新迭代版本比較快,
缺點:版本的升級,版本的維護,版本的兼容性,版本的補丁均可能考慮不太周到,
apache全部軟件的下載地址(包括各類歷史版本):
http://archive.apache.org/dist/web
https://hortonworks.com/
hortonworks主要是雅虎主導Hadoop開發的副總裁,帶領二十幾個核心成員成立Hortonworks,核心產品軟件HDP(ambari),HDF免費開源,而且提供一整套的web管理界面,供咱們能夠經過web界面管理咱們的集羣狀態,web管理界面軟件HDF網址(http://ambari.apache.org/)shell
https://www.cloudera.com/
cloudera主要是美國一家大數據公司在apache開源hadoop的版本上,經過本身公司內部的各類補丁,實現版本之間的穩定運行,大數據生態圈的各個版本的軟件都提供了對應的版本,解決了版本的升級困難,版本兼容性等各類問題apache
文件系統核心模塊:
NameNode:集羣當中的主節點,管理元數據(文件的大小,文件的位置,文件的權限),主要用於管理集羣當中的各類數據
secondaryNameNode:主要能用於hadoop當中元數據信息的輔助管理
DataNode:集羣當中的從節點,主要用於存儲集羣當中的各類數據
數據計算核心模塊:
JobTracker:接收用戶的計算請求任務,並分配任務給從節點
TaskTracker:負責執行主節點JobTracker分配的任務vim
NameNode:集羣當中的主節點,主要用於管理集羣當中的各類數據
secondaryNameNode:主要能用於hadoop當中元數據信息的輔助管理
DataNode:集羣當中的從節點,主要用於存儲集羣當中的各類數據centos
ResourceManager:接收用戶的計算請求任務,並負責集羣的資源分配
NodeManager:負責執行主節點APPmaster分配的任務架構
NameNode:集羣當中的主節點,主要用於管理集羣當中的各類數據
secondaryNameNode:主要能用於hadoop當中元數據信息的輔助管理
DataNode:集羣當中的從節點,主要用於存儲集羣當中的各類數據app
ResourceManager:接收用戶的計算請求任務,並負責集羣的資源分配,以及計算任務的劃分,經過zookeeper實現ResourceManager的高可用
NodeManager:負責執行主節點ResourceManager分配的任務
NameNode:集羣當中的主節點,主要用於管理集羣當中的各類數據,其中nameNode能夠有兩個,造成高可用狀態
DataNode:集羣當中的從節點,主要用於存儲集羣當中的各類數據
JournalNode:文件系統元數據信息管理
ResourceManager:接收用戶的計算請求任務,並負責集羣的資源分配,以及計算任務的劃分
NodeManager:負責執行主節點ResourceManager分配的任務
NameNode:集羣當中的主節點,主要用於管理集羣當中的各類數據,通常都是使用兩個,實現HA高可用
JournalNode:元數據信息管理進程,通常都是奇數個
DataNode:從節點,用於數據的存儲
ResourceManager:Yarn平臺的主節點,主要用於接收各類任務,經過兩個,構建成高可用
NodeManager:Yarn平臺的從節點,主要用於處理ResourceManager分配的任務
因爲appache給出的hadoop的安裝包沒有提供帶C程序訪問的接口,因此咱們在使用本地庫(本地庫能夠用來作壓縮,以及支持C程序等等)的時候就會出問題,須要對Hadoop源碼包進行從新編譯.
準備一臺linux環境,內存4G或以上,硬盤40G或以上,我這裏使用的是Centos6.9 64位的操做系統(注意:必定要使用64位的操做系統)
關閉防火牆命令:
service iptables stop chkconfig iptables off
關閉selinuxvim /etc/selinux/config
注意hadoop-2.7.5 這個版本的編譯,只能使用jdk1.7,若是使用jdk1.8那麼就會報錯
查看centos6.9自帶的openjdkrpm -qa | grep java
將全部這些openjdk所有卸載掉
rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64
注意:這裏必定不要使用jdk1.8,親測jdk1.8會出現錯誤
將咱們jdk的安裝包上傳到/export/softwares(我這裏使用的是jdk1.7.0_71這個版本)
解壓咱們的jdk壓縮包
統一兩個路徑
mkdir -p /export/servers mkdir -p /export/softwares cd /export/softwares tar -zxvf jdk-7u71-linux-x64.tar.gz -C ../servers/
配置環境變量vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.7.0_71 export PATH=:$JAVA_HOME/bin:$PATH
讓修改當即生效source /etc/profile
這裏使用maven3.x以上的版本應該均可以,不建議使用過高的版本,強烈建議使用3.0.5的版本便可
將maven的安裝包上傳到/export/softwares
而後解壓maven的安裝包到/export/servers
cd /export/softwares/ tar -zxvf apache-maven-3.0.5-bin.tar.gz -C ../servers/
配置maven的環境變量vim /etc/profile
export MAVEN_HOME=/export/servers/apache-maven-3.0.5 export MAVEN_OPTS="-Xms4096m -Xmx4096m" export PATH=:$MAVEN_HOME/bin:$PATH
讓修改當即生效source /etc/profile
解壓maven的倉庫tar -zxvf mvnrepository.tar.gz -C /export/servers/
修改maven的配置文件
cd /export/servers/apache-maven-3.0.5/conf vim settings.xml
指定咱們本地倉庫存放的路徑
添加一個咱們阿里雲的鏡像地址,會讓咱們下載jar包更快
<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror>
解壓findbugstar -zxvf findbugs-1.3.9.tar.gz -C ../servers/
配置findbugs的環境變量
vim /etc/profile
export JAVA_HOME=/export/servers/jdk1.7.0_75 export PATH=:$JAVA_HOME/bin:$PATH export MAVEN_HOME=/export/servers/apache-maven-3.0.5 export PATH=:$MAVEN_HOME/bin:$PATH export FINDBUGS_HOME=/export/servers/findbugs-1.3.9 export PATH=:$FINDBUGS_HOME/bin:$PATH
讓修改當即生效source /etc/profile
yum install autoconf automake libtool cmake yum install ncurses-devel yum install openssl-devel yum install lzo-devel zlib-devel gcc gcc-c++
bzip2壓縮須要的依賴包
yum install -y bzip2-devel
解壓protobuf並進行編譯
cd /export/softwares tar -zxvf protobuf-2.5.0.tar.gz -C ../servers/ cd /export/servers/protobuf-2.5.0 ./configure make && make install
cd /export/softwares/ tar -zxf snappy-1.1.1.tar.gz -C ../servers/ cd ../servers/snappy-1.1.1/ ./configure make && make install
對源碼進行編譯
cd /export/softwares tar -zxvf hadoop-2.7.5-src.tar.gz -C ../servers/ cd /export/servers/hadoop-2.7.5
編譯支持snappy壓縮:mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
編譯完成以後咱們須要的壓縮包就在下面這個路徑裏面
/export/servers/hadoop-2.7.5/hadoop-dist/target