大數據-01-hadoop-02-Hadoop編譯源碼（面試重點）

第5章 Hadoop編譯源碼（面試重點）

5.1 前期準備工做

1. CentOS聯網

配置CentOS能鏈接外網。Linux虛擬機ping www.baidu.com 是暢通的

注意：採用root角色編譯，減小文件夾權限出現問題

2. jar包準備(hadoop源碼、JDK八、maven、ant 、protobuf)

（1）hadoop-2.7.2-src.tar.gz

（2）jdk-8u144-linux-x64.tar.gz

（3）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的）

（4）apache-maven-3.0.5-bin.tar.gz

（5）protobuf-2.5.0.tar.gz（序列化的框架）

5.2 jar包安裝

注意：全部操做必須在root用戶下完成

1. JDK解壓、配置環境變量 JAVA_HOME和PATH，驗證java-version(以下都須要驗證是否配置成功)

[root@hadoop101 software] # tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/module/

 

[root@hadoop101 software]# vi /etc/profile

#JAVA_HOME：

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

 

[root@hadoop101 software]#source /etc/profile

驗證命令：java -version

1. Maven解壓、配置  MAVEN_HOME和PATH

[root@hadoop101 software]# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/

 

[root@hadoop101 apache-maven-3.0.5]# vi conf/settings.xml

 

<mirrors>

    <!-- mirror

     | Specifies a repository mirror site to use instead of a given repository. The repository that

     | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used

     | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.

     |

<mirror>

       <id>mirrorId</id>

       <mirrorOf>repositoryId</mirrorOf>

       <name>Human Readable Name for this Mirror.</name>

       <url>http://my.repository.com/repo/path</url>

      </mirror>

     -->

        <mirror>

                <id>nexus-aliyun</id>

                <mirrorOf>central</mirrorOf>

                <name>Nexus aliyun</name>

                <url>http://maven.aliyun.com/nexus/content/groups/public</url>

        </mirror>

</mirrors>

 

[root@hadoop101 apache-maven-3.0.5]# vi /etc/profile

#MAVEN_HOME

export MAVEN_HOME=/opt/module/apache-maven-3.0.5

export PATH=$PATH:$MAVEN_HOME/bin

 

[root@hadoop101 software]#source /etc/profile

驗證命令：mvn -version

1. ant解壓、配置  ANT _HOME和PATH

[root@hadoop101 software]# tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module/

 

[root@hadoop101 apache-ant-1.9.9]# vi /etc/profile

#ANT_HOME

export ANT_HOME=/opt/module/apache-ant-1.9.9

export PATH=$PATH:$ANT_HOME/bin

 

[root@hadoop101 software]#source /etc/profile

驗證命令：ant -version

1. 安裝  glibc-headers 和  g++  命令以下

[root@hadoop101 apache-ant-1.9.9]# yum install glibc-headers

[root@hadoop101 apache-ant-1.9.9]# yum install gcc-c++

1. 安裝make和cmake

[root@hadoop101 apache-ant-1.9.9]# yum install make

[root@hadoop101 apache-ant-1.9.9]# yum install cmake

1. 解壓protobuf ，進入到解壓後protobuf主目錄，/opt/module/protobuf-2.5.0，而後相繼執行命令

[root@hadoop101 software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/

[root@hadoop101 opt]# cd /opt/module/protobuf-2.5.0/

 

[root@hadoop101 protobuf-2.5.0]#./configure 

[root@hadoop101 protobuf-2.5.0]# make 

[root@hadoop101 protobuf-2.5.0]# make check 

[root@hadoop101 protobuf-2.5.0]# make install 

[root@hadoop101 protobuf-2.5.0]# ldconfig 

 

[root@hadoop101 hadoop-dist]# vi /etc/profile

#LD_LIBRARY_PATH

export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0

export PATH=$PATH:$LD_LIBRARY_PATH

 

[root@hadoop101 software]#source /etc/profile

驗證命令：protoc --version

1. 安裝openssl庫

[root@hadoop101 software]#yum install openssl-devel

1. 安裝 ncurses-devel庫

[root@hadoop101 software]#yum install ncurses-devel

到此，編譯工具安裝基本完成。

5.3 編譯源碼

1. 解壓源碼到/opt/目錄

[root@hadoop101 software]# tar -zxvf hadoop-2.7.2-src.tar.gz -C /opt/

2. 進入到hadoop源碼主目錄

[root@hadoop101 hadoop-2.7.2-src]# pwd

/opt/hadoop-2.7.2-src

3. 經過maven執行編譯命令

[root@hadoop101 hadoop-2.7.2-src]#mvn package -Pdist,native -DskipTests -Dtar

等待時間30分鐘左右，最終成功是所有SUCCESS，如圖2-42所示。

圖2-42 編譯源碼

4. 成功的64位hadoop包在/opt/hadoop-2.7.2-src/hadoop-dist/target下

[root@hadoop101 target]# pwd

/opt/hadoop-2.7.2-src/hadoop-dist/target

5. 編譯源碼過程當中常見的問題及解決方案

（1）MAVEN install時候JVM內存溢出

處理方式：在環境配置文件和maven的執行文件都可調整MAVEN_OPT的heap大小。（詳情查閱MAVEN 編譯 JVM調優問題，如：http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method）

（2）編譯期間maven報錯。可能網絡阻塞問題致使依賴庫下載不完整致使，屢次執行命令（一次經過比較難）：

[root@hadoop101 hadoop-2.7.2-src]#mvn package -Pdist,nativeN -DskipTests -Dtar

（3）報ant、protobuf等錯誤，插件下載未完整或者插件版本問題，最開始連接有較多特殊狀況，同時推薦

2.7.0版本的問題彙總帖子 http://www.tuicool.com/articles/IBn63qf

第6章 常見錯誤及解決方案

1）防火牆沒關閉、或者沒有啓動YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主機名稱配置錯誤

3）IP地址配置錯誤

4）ssh沒有配置好

5）root用戶和atguigu兩個用戶啓動集羣不統一

6）配置文件修改不細心

7）未編譯源碼

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

8）不識別主機名稱

java.net.UnknownHostException: hadoop102: hadoop102

        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)

        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)

        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)

        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)

        at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

解決辦法：

（1）在/etc/hosts文件中添加192.168.1.102 hadoop102

（2）主機名稱不要起hadoop  hadoop000等特殊名稱

9）DataNode和NameNode進程同時只能工做一個。

10）執行命令不生效，粘貼word中命令時，遇到-和長–沒區分開。致使命令失效

解決辦法：儘可能不要粘貼word中代碼。

11）jps發現進程已經沒有，可是從新啓動集羣，提示進程已經開啓。緣由是在linux的根目錄下/tmp目錄中存在啓動的進程臨時文件，將集羣相關進程刪除掉，再從新啓動集羣。

12）jps不生效。

緣由：全局變量hadoop java沒有生效。解決辦法：須要source /etc/profile文件。

13）8088端口鏈接不上

[atguigu@hadoop102 桌面]$ cat /etc/hosts

註釋掉以下代碼

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1         hadoop102