CentOS 5.6 64位 重編譯Hadoop 2.6.0

1. 採用yum安裝 gcc,gcc++,jdk 1.7，cmake.

2. 下載並tar xvpfz 如下包

   apache-ant-1.9.5-bin.tar.gz

   apache-maven-3.3.3-bin.tar.gz,

   findbugs-2.0.2.tar.gz

   protobuf-2.5.0.tar.gz

   hadoop-2.6.0-src.tar.gz

3. 配置/etc/profile

   export ANT_HOME=/home/hadoop/apache-ant-1.9.5

   export FINDBUGS_HOME=/home/hadoop/findbugs-2.0.2

   export MAVEN_HOME=/home/hadoop/apache-maven-3.3.3
   

   export JAVA_HOME=/usr/java/jdk1.7.0_75

   export CLASS_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/jre/lib/ext/mysql5.jar

   export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.0

   export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin

   運行source /etc/profile

4. 編譯並安裝 protobuf

5. ./configure

       make;make install;

       ldconfig -v 

  5.  進入hadoop src用mvn編譯。

      mvn clean package -DskipTests -Pdist,native -Dtar

      也有加-Pdist,native,doc 打包javadoc的，若是慢能夠不用。

      中途出錯或斷網，從新編譯不成功，能夠刪除rm -fr hadoop.2.6.0-src，從新tar xvpfz，再編譯，不然能夠反覆編譯不成功。

  6. 能夠直接打編譯好的lib拷貝到hadoop-2.6.0.tar.gz翻譯出來的lib下，覆蓋以使用。具體目錄是

     cp /home/hadoop/hadoop-src.2.6.0/hadoop-dist/target/hadoop-2.6.0/lib/native /home/hadoop/hadoop-2.6.0/lib/native

     slave node的服務器上的lib能夠不拷。

    經過hadoop 下的start-dfs.sh啓動dfs，默認以http://w.x.y.z:50070   查看 dfs運行start-yarn.sh 以http://w.x.y.z:8088 查看 yarn運行，能夠會慢些才顯示出來、

7. 經過 hdfs dfsadmin -report 檢查運行狀況，並看看是否還有 Unable to load native-hadoop library for your platform WARNING信息。正常是沒有了。