第1節 HUE：1三、hue的下載以及安裝配置

hue的基本介紹：主要是用於與其餘各個框架作整合的，提供一個web界面能夠供咱們去操做其餘的大數據框架
能夠理解爲這個hue就是一個與其餘各個框架整合的工具，hue自己不提供任何的功能，全部的功能，都是藉助其餘的框架來完成

hue的架構：
第一個UI界面：主要是提供咱們web界面供咱們使用的
第二個hue server：就是一個tomcat的服務
第三個hue DB: hue的數據庫，主要用於保存一些咱們提交的任務

==================================================

一、Hue的介紹

HUE=Hadoop User Experience

Hue是一個開源的Apache Hadoop UI系統，由Cloudera Desktop演化而來，最後Cloudera公司將其貢獻給Apache基金會的Hadoop社區，它是基於Python Web框架Django實現的。

經過使用Hue咱們能夠在瀏覽器端的Web控制檯上與Hadoop集羣進行交互來分析處理數據，例如操做HDFS上的數據，運行MapReduce Job，執行Hive的SQL語句，瀏覽HBase數據庫等等。

HUE連接

• Site: http://gethue.com/
• Github: https://github.com/cloudera/hue
• Reviews: https://review.cloudera.org

Hue的架構

 

核心功能

• SQL編輯器，支持Hive, Impala, MySQL, Oracle, PostgreSQL, SparkSQL, Solr SQL, Phoenix…
• 搜索引擎Solr的各類圖表
• Spark和Hadoop的友好界面支持
• 支持調度系統Apache Oozie，可進行workflow的編輯、查看

HUE提供的這些功能相比Hadoop生態各組件提供的界面更加友好，可是一些須要debug的場景可能仍是須要使用原生系統才能更加深刻的找到錯誤的緣由。

HUE中查看Oozie workflow時，也能夠很方便的看到整個workflow的DAG圖，不過在最新版本中已經將DAG圖去掉了，只能看到workflow中的action列表和他們之間的跳轉關係，想要看DAG圖的仍然能夠使用oozie原生的界面系統查看。

1，訪問HDFS和文件瀏覽

2，經過web調試和開發hive以及數據結果展現

3，查詢solr和結果展現，報表生成

4，經過web調試和開發impala交互式SQL Query

5，spark調試和開發

7，oozie任務的開發，監控，和工做流協調調度

8，Hbase數據查詢和修改，數據展現

9，Hive的元數據（metastore）查詢

10，MapReduce任務進度查看，日誌追蹤

11，建立和提交MapReduce，Streaming，Java job任務

12，Sqoop2的開發和調試

13，Zookeeper的瀏覽和編輯

14，數據庫（MySQL，PostGres，SQlite，Oracle）的查詢和展現

 

一句話總結：Hue是一個友好的界面集成框架，能夠集成咱們各類學習過的以及將要學習的框架，一個界面就能夠作到查看以及執行全部的框架

二、Hue的安裝

Hue的安裝支持多種方式，包括rpm包的方式進行安裝，tar.gz包的方式進行安裝以及cloudera  manager的方式來進行安裝等，咱們這裏使用tar.gz包的方式來記性安裝

第一步：下載Hue的壓縮包並上傳到linux解壓

Hue的壓縮包的下載地址：

http://archive.cloudera.com/cdh5/cdh/5/

咱們這裏使用的是CDH5.14.0這個對應的版本，具體下載地址爲

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz

下載而後上傳到linux系統，而後進行解壓

cd /export/softwares/

tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/

 

第二步：編譯安裝啓動

2.一、linux系統安裝依賴包：

聯網安裝各類必須的依賴包

yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel

 

2.二、開始配置Hue

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf

vim  hue.ini

 

#通用配置

[desktop]

secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o

http_host=node03.hadoop.com

is_hue_4=true

time_zone=Asia/Shanghai

server_user=root

server_group=root

default_user=root

default_hdfs_superuser=root

#配置使用mysql做爲hue的存儲數據庫,大概在hue.ini的587行左右

[[database]]

engine=mysql

host=node03.hadoop.com

port=3306

user=root

password=123456

name=hue

 

2.三、建立mysql數據庫

建立hue數據庫

create database hue default character set utf8 default collate utf8_general_ci;

注意：實際工做中，還須要爲hue這個數據庫建立對應的用戶，並分配權限，我這就不建立了，因此下面這一步不用執行了

grant all on hue.* to 'hue'@'%' identified by 'hue';

2.四、準備進行編譯

cd /export/servers/hue-3.9.0-cdh5.14.0

make apps

 

2.五、linux系統添加普通用戶hue

useradd hue

passwd hue

 

2.六、啓動hue進程

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

2.七、頁面訪問

http://node03:8888

第一次訪問的時候，須要設置管理員用戶和密碼

咱們這裏的管理員的用戶名與密碼儘可能保持與咱們安裝hadoop的用戶名和密碼一致，

咱們安裝hadoop的用戶名與密碼分別是root  root

初次登陸使用root用戶，密碼爲root

 

進入以後發現咱們的hue頁面報錯了，這個錯誤主要是由於hive的緣由，由於咱們的hue與hive集成的時候出錯了，因此咱們須要配置咱們的hue與hive進行集成，接下里就看看咱們的hue與hive以及hadoop如何進行集成。