hue安裝，hive hdfs oozie集成

[toc]

環境需求

• jdk

• maven

• git

• 第三方依賴 yum install -y gcc-c++ libxml2-devel.x86_64 libxslt-devel.x86_64 python-devel openldap-devel asciidoc cyrus-sasl-gssapi openssl-devel mysql-devel sqlite-devel gmp-devel libffi-devel npm 還有缺失什麼可自行安裝

建立hue用戶和用戶組

groupadd hue

useradd -g hue hue

切換用戶並進入hue根目錄

su hue

cd ~

從git上拉取hue源碼

git clone https://github.com/cloudera/hue.git

進入hue-master目錄並編譯

cd hue-master

make apps 須要等待較長時間，若中間還缺乏依賴可自行安裝

修改hue配置文件

vi /home/hue/hue-master/desktop/conf/pseudo-distributed.ini

時區

[desktop]

time_zone=Asia/Shanghai

用戶角色

[desktop]

server_user=hue

server_group=hue

default_user=hue

hdfs配置

[hadoop]

[[hdfs_clusters]]

fs_defaultfs=hdfs://集羣名稱

webhdfs_url=http://hdfsMaster1:14000/webhdfs/v1

yarn配置

[hadoop]

[[yarn_clusters]]

[[[default]]]

resourcemanager_host=resourcemanager

resourcemanager_api_url=http://resourcemanager:8088

submit_to=True

proxy_api_url=http://172.19.131.104:8088

history_server_api_url=http://172.19.131.104:19888

database配置

(hue數據庫先建立好並授予權限給hue用戶) [database]

engine=mysql

host=mysqlhost

port=3306

user=hue

password=123456

name=hue

oozie配置(已默承認不配)

[oozie]

remote_data_dir=/user/hue/oozie/workspaces

enable_cron_scheduling=true

enable_document_action=true

liboozie配置

[liboozie]

oozie_url=http://master1:11000/oozie

beeswax配置（hive）

[beeswax]

hive_server_host=172.19.131.107

hive_server_port=10000

數據庫初始化

/home/hue/hue-master/build/env/bin/hue syncdb

/home/hue/hue-master/build/env/bin/hue migrate

運行

/home/hue/hue-master/build/env/bin/supervisor

問題解決

若hdfs路徑沒法訪問

在hadoop的core-site配置文件下配置 hadoop.proxyuser.hue.groups=*

hadoop.proxyuser.hue.hosts=*

若hive數據庫沒法訪問

能夠在權限管理那裏（本人用的是ranger）進行hive的數據庫受權

若oozie提交任務執行失敗

可查看MapReduce的日誌，多是當前用戶沒法提交任務配置信息到yarn下的目錄