Apache Tez 0.七、0.8三、 0.82 安裝、調試筆記

———————————————————— 準備 Tez 編譯環境 ————————————————————

1 須要的支持

tez0.7 須要 Hadoop 2.60 以上

2 須要的 linux 相關工具

// apt-get install g++

// apt-get install vim

// apt-get install make

// yum -y install gcc make gcc-c++ openssl 

3 protobuf 安裝

CDN 下載的 編譯好的  protobuf 2.5.0 

 

編譯要好久的  而且須要提早安裝好 2.5 版本的 protobuf。  若是安裝2.6.1 也不用怕 刪了重裝便可

 

./configure

$ make

$ make check

$ make install

 

protoc --version 

 

若是找不到 sodu 一下/etc/profile

 

4 下載 node.js

這個版本不行。 wget http://nodejs.org/dist/v0.10.26/node-v0.10.26.tar.gz

 tar -zxvf node-v0.10.26.tar.gz 

 make && make install 

 node -v v0.10.26

 

改下載 10.27 

wget http://nodejs.org/dist/v0.10.27/node-v0.10.27.tar.gz
 tar -zxvf node-v0.10.27.tar.gz

make && make install 

驗證 node -v

 

 

5 安裝npm

curl -L https://www.npmjs.com/install.sh
 | sh
驗證 npm -v

 

6 maven 3.10 以上版本

鏡像：  http://mirrors.cnnic.cn/apache/maven/maven-3

 

7 安裝 git （linux 自帶的就行 1.7.1）

一、新集羣首先更新 yum

            sudo yum update

二、依賴包

          sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker

 

三、git 下載

     1.7.1

     yum -y install git     

 

————————————————————— 編譯Tez —————————————————————

 

一 下載 0.70 

wget  http://apache.fayea.com/tez/0.7.0/apache-tez-0.7.0-src.tar.gz

 

解壓文件：

二 修改 pom.xml 

 1）須要編輯 tez 目錄下 tez-ui 目錄 中的 pom.xml 文件,添加紅色部分

<arguments>
                <argument>node_modules/bower/bin/bower</argument>
                <argument>install</argument>
                p<argument> --allow-root</argument>
                <argument>--remove-unnecessary-resolutions=false</argument>
</arguments>

 

 2）  hadoop.version 和 protobuf.version 修改爲hadoop 和 protobuf.version 環境下的版本號。

本次環境是  hadoop2.6.0 和  protobuf.version 2.5   tez 0.7默認就是這倆因此不用改

 

 3）升級frontend版本爲0.0.23 （能夠不升級先試試 若是能過不用管。）

        <plugin>
          <groupId>com.github.eirslett</groupId>
          <artifactId>frontend-maven-plugin</artifactId>
          <version>0.0.23</version>
        </plugin>

三 建立路徑

mkdir -p  apache-tez-0.7.0-src/tez-ui/src/main/webapp/dist 建立一個 dist目錄

四 編譯 TEZ （漫長等待，若是失敗能夠從新編譯。 常常下載超時失敗。）

 mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

 

編譯好的 tez 在根目錄下 tez-dist/target 目錄  tez-0.7.0.tar.gz  就是

 

 

五 爲調配 Hadoop 作準備

成功後，在tez的根目錄下建立tezlib文件夾： 
執行輸入命令，拷貝全部tez相關的jar到tezlib下面： 
find . -name "*jar" -print | cp -a `xargs` tezlib/ 

 

———————————————————— 調配 Hadoop  ————————————————————

 

 

 

1 將 編譯好的 TEZ .tar.gz 文件上傳到 HDFS 中。

 

hdfs fs -put complete-tez-0.7.0.tar.gz /tez

 

2 解壓 tez-0.7.0.tar.gz 後修改hadoop 的 mapred-site.xml

 

 

3 建立 tez-site.xml

須要在 hadoop 的 master 節點上面的 ${HADOOP_HOME}/etc/hadoop 目錄下面建立一個 tez-site.xml 文件，裏面填寫以下內容

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>tez.lib.uris</name>

<value>（HDFS路徑）+/tez/tez-0.7.0</value>

</property>

</configuration>

 

以上完成了tez的基本配置，接下來有 2 中方法使咱們的任務運行在tez上，

 

export TEZ_HOME= /usr/local/opt/tez-0.7.0

          for jar in `ls $TEZ_HOME |grep jar`; do

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/$jar

 done

           for jar in `ls $TEZ_HOME/lib`; do

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/lib/$jar

 done

 

運行 TEZ 本身的 例子運行過程：

查看 HDFS 結果

運行 hadoop  MR 例子過程：

結果同樣的

 

 

 

明日檢查性能