hue(02)、Hue集成Hadoop集羣(HDFS和YARN)

        在上文 hue(01)、Hue4.1的編譯安裝啓動 中,咱們完整的進行了Hue的源碼下載編譯安裝,Hue的web控制檯與Hdfs、Hive、Hbase等集成才能展示它的魅力。本文咱們在Hue中集成hadoop的hdfs和yarn服務，而後使用Hue操做和監控hadoop集羣。

1、環境準備

1.hadoop集羣（hadoop2.8.2）

2.hue4.1服務

2、集成配置

注意：如下1-4一樣須要在其餘的hadoop集羣的節點上操做

1.修改hadoopde的hdfs-site.xml文件

修改hadoop的/etc/hadoop/目錄下的hdfs-site.xml文件，在文件中加入如下配置：

<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
</property>

<property>
         <name>dfs.permissions.enabled</name>
         <value>false</value>
</property>

2.修改hadoopde的core-site.xml文件

修改hadoop的/etc/hadoop/目錄下的core-site.xml文件，在文件中加入如下配置 ：            

<property>
         <name>hadoop.proxyuser.hue.hosts</name>
         <value>*</value>
</property>

<property>
         <name>hadoop.proxyuser.hue.groups</name>
         <value>*</value>
</property>

        

3.修改hadoopde的httpfs-site.xml文件

修改hadoop的/etc/hadoop/目錄下的httpfs-site.xml文件，在文件中加入如下配置 ： 

<property>
         <name>httpfs.proxyuser.hue.hosts</name>
         <value>*</value>
</property>

<property>
         <name>httpfs.proxyuser.hue.groups</name>
         <value>*</value>
</property>

4.修改hadoopde的yarn-site.xml文件

修改hadoop的/etc/hadoop/目錄下的yarn-site.xml文件，在文件中加入如下配置 ：

<property>
         <name>yarn.log-aggregation-enable</name>
         <value>true</value>
</property>

<property>
         <name>yarn.log-aggregation.retain-seconds</name>
         <value>432000</value>
</property>

5.修改hue的pseudo-distributed.ini文件集成hdfs

修改hue的/desktop/conf/目錄下的pseudo-distributed.ini文件，對hadoop集羣的hdfs配置以下：

fs_defaultfs=hdfs://hdpc01:9000

webhdfs_url=http://hdpc01:50070/webhdfs/v1

hadoop_conf_dir=/home/hadoop/hadoop-2.8.2/etc/hadoop

6.修改hue的pseudo-distributed.ini文件集成yarn

修改hue的/desktop/conf/目錄下的pseudo-distributed.ini文件，對hadoop集羣的yarn配置以下：  

resourcemanager_host=hdpc01

resourcemanager_port=8032

submit_to=True

resourcemanager_api_url=http://hdpc01:8088

proxy_api_url=http://hdpc01:8088

history_server_api_url=http://hdpc01:19888   

3、集成準備

1.啓動hadoop集羣

在主節點上啓動hadoop集羣start-all.sh

2.啓動Hue服務

在hue的/bulid/env/bin/目錄下 ./supervisor 啓動hue服務

3.服務啓動驗證

 驗證hadoop集羣啓動                 

驗證hue服務啓動

4、集成使用

1.使用hue查看hdfs文件

點擊hdfs圖標，能夠Open in Browser查看詳細的文件列表信息，以下圖：

2.查看單個文件詳細的信息

在文件列表中點擊文件能夠查看這個文件詳細的信息，以下圖：

3.使用hue上傳文件到hdfs中

咱們這裏上傳bsck.txt文件到hdfs目錄下，以下步驟：

首先，切換到hdfs目錄下，點擊upload上傳文件按鈕

而後，選擇上傳的back.txt文件到hdfs中便可看到

4.從hdfs上刪除文件

咱們刪除剛剛上傳到hdfs目錄下的back.txt文件，先選中文件而後點擊Delete forever按鈕便可刪除

5.hue中對hdfs文件的更多操做

咱們選中文件點擊Actions，能夠看到下拉框中對文件的更多其餘操做項，有下載、拷貝、移動、重命名、修改權限等等

6.hue中查看MapReduce執行的Job

咱們點擊Jobs打開做業瀏覽面板，在這裏能夠看到執行中、執行完成、執行失敗的做業信息，以下：

5、問題總結

1.關於hue集成hdfs的問題

在hue集成完成hadoop後，使用hue查看hdfs的時候，hue的控制面板老是提示以下錯誤：

         

解決辦法：在hue中建立用戶hdfs，而且設置未超級用戶便可解決

2.關於進入hue提示鏈接10000端口服務異常

該問題是咱們沒有鏈接hive服務提示的異常，解決辦法就是集成hive便可，詳細見下篇博文

6、最後總結

         經過文本在hue中集成hadoop集羣（hdfs和yarn），而且在集成完成後進行了簡單的使用，咱們之後能夠有更好的方式操做hdfs和查看做業執行狀況了，後面咱們還將繼續集成hive和mysql服務，文中有不對的地方歡迎你們指出來