在Ubuntu下編譯hadoop2.5.x

在Ubuntu下編譯hadoop2.5.x

參考博客：http://www.aboutyun.com/thread-8130-1-1.html

1 下載hadoop源碼：

（1） http://www.aboutyun.com/thread-8130-1-1.html

 

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar.gz

（2）解壓源碼：

hadoop@master:~/Downloads$ tar zxvf hadoop-2.5.2-src.tar.gz

2 安裝jdk （已安裝）

3 下載安裝maven

sudo apt-get install maven

（因爲網速可能很慢，能夠下載到ubutu上安裝）

下載Maven：http://mirrors.cnnic.cn/apache/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz

放到、usr/setup/目錄下（自定義）

解壓 ：tar -xzvf apache-maven-3.2.3-bin.tar.gz

 

添加環境變量：

sudo vim /etc/profile

添加

export M2_HOME=/home/weibo/apache-maven-3.0.5

export M2=$M2_HOME/bin

export PATH=$M2:$PATH

保存 

source profile

 

測試maven安裝：

mvn –version

4 安裝protobuf

爲防止錯誤，須要先安裝一些插件

4.1 安裝g++

sudo apt-get install g++

 

4.2 下載protobuf

（有可能因爲谷歌不能訪問）

sudo wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

 

(1）解壓：

tar zxvf protobuf-2.5.0.tar.gz

 

效果以下：

 

而後進入protobuf-2.5.0文件夾，進行以下操做：

$ sudo ./configure

$ sudo make

$ sudo make check

$ sudo make install

$ sudo ldconfig

(2）修改環境變量：

sudo vim /etc/profile

 

export LD_LIBRARY_PATH=usr/setup/protobuf-2.5.0

 

（LD_LIBRARY_PATH的這裏，填寫的是protobuf文件的位置）

 

source /etc/profile

 

（3）驗證：protoc –version

若出錯 或能夠操做以下步驟 安裝Google ProtocolBuffer  $ sudo apt-get install protobuf-compiler    裝完後確認版本是否知足安裝指南BUILDING.txt裏所指定的2.5.0版本的要求。    卸載 $ sudo apt-get remove protobuf-compiler

 

4.3 安裝openssl庫

sudo apt-get install libssl-dev

4.4 安裝CMake

sudo yum install cmake 或者 sudo apt-get install cmake

 

4.5 安裝ant

下載：apache-ant-1.9.4-bin.tar.gz

解壓：tar zxvf apache-ant-1.9.4-bin.tar.gz

配置環境變量：

sudo vi /etc/profile

添加以下紅字部分：（本身的路徑）

export ANT_HOME=/usr/setup/apache-ant-1.9.4

export PATH=$PATH:$ANT_HOME/bin

生效：source /etc/profile

 

檢驗：ant –version

5 編譯hadoop2.5.2

    進入src文件夾，執行命令：mvn package -Pdist,native -DskipTests -Dtar

    等待（約40min）：如圖

 

在目錄~/hadoop-2.5.2-src/hadoop-dist/target下有文件：
hadoop-2.5.2.tar.gz

 

 

6 錯誤總結