Hadoop集羣上搭建Ranger

There are two types of people in the world. I hate both of them.

 

Hadoop集羣上搭建Ranger

在搭建Ranger工程以前，須要完成http://www.javashuo.com/article/p-cxwjocaa-ed.html 中的搭建Hadoop集羣步驟。

準備到Ranger官網下載ranger的源碼：http://ranger.apache.org/download.html

一、Ranger編譯

Ranger編譯的過程實在非虛擬機環境下完成的，下載好ranger源碼後並解壓，而後進入源碼解壓目錄執行以下命令進行編譯：

mvn clean compile package assembly:assembly install -Dmaven.test.skip=true

在編譯過程當中可能會有一些異常，好比jar包沒法下載(須要手動需官網下載並放入相應的位置)、UTF-8編碼沒法識別或是其餘報錯，根據提示修改下就OK了，問題不大；初次編譯時間較長20分鐘這樣都不誇張，直到出現以下圖中的 BUILD SUCCESS 則表示編譯經過了：

同時會在ranger/target目錄下生成咱們以後須要在虛擬機上用到的一系列安裝包，以下圖：

二、安裝部署

在安裝部署以前，還需在要部署的服務器服務器上安裝下Mysql：http://www.javashuo.com/article/p-fllmwynm-go.html

1）上傳以前本地編譯好的ranger-2.0.0-SNAPSHOT-admin.tar.gz文件到tjt03機器上，並解壓，而後修改解壓後到install.properties文件；

解壓：

[root@tjt03 opt]# tar -vxf ranger-2.0.0-SNAPSHOT-admin.tar.gz

修改install.properties 文件：

[root@tjt03 opt]# cd ranger-2.0.0-SNAPSHOT-admin/ [root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# vi install.properties 

想要修改的地方有幾處：

1. mysql-connector-java的jar包路徑要能找獲得：

SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

 

2. 修改鏈接數據庫的帳號密碼、存儲的數據庫帳號密碼：

db_root_user=root db_root_password=TANjintao@520
db_host=localhost 

db_name=ranger 
db_user=rangeradmin 
db_password=TANjintao@520

3. 修改成非集羣：

# audit_store=solr audit_store=

4. 修改首頁顯示的插件：

policymgr_supportedcomponents=hive,hbase,hdfs,kms,knox,yarn

5. 修改Linux的用戶、用戶組和密碼：

unix_user=root unix_user_pwd=tanjintao unix_group=root

6. 修改hadoop_conf:

hadoop_conf=/opt/hadoop-2.7.6/etc/hadoop

2) 安裝Ranger Admin

Ranger Admin的運行環境須要python，執行 yum install python 簡單安裝下python便可：

[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# yum install python

而後，建立ranger數據庫：

mysql> create database ranger

而後，修改下ranger數據庫的字符集，執行下面的命令：

mysql>alter database ranger character set latin1; mysql>flush privileges;

而後，建立用戶並受權，執行下面的命令便可：

grant all privileges on ranger.* to rangeradmin@localhost identified by 'TANjintao@520'; grant all privileges on *.* to root@localhost identified by 'TANjintao@520' with grant option; flush privileges;

上述的準備工做都OK後，就能夠進入ranger-2.0.0-SNAPSHOT-admin目錄執行安裝命令：

[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# ./setup.sh

安裝過程大概幾分鐘，終端顯示安裝成功後，本地鏈接遠程服務器的數據庫檢查下是否有相應的數據庫和表：

須要在tjt03機器上受權後才能夠在本地鏈接遠程數據庫，執行以下命令：

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'TANjintao@520' WITH GRANT OPTION;

看到遠程數據庫以下圖，就說明Ranger Admin安裝成功了：

3）啓動Ranger Admin 服務

[root@tjt03 ~]# ranger-admin start

(中止:ranger-admin stop ,重啓:ranger-admin restart)

4）驗證Ranger Admin服務,在瀏覽器中打開：http://172.16.114.132:6080 或是 http://tjt03:6080 若是出現Ranger的登陸界面,說明安裝成功了. 登陸的用戶名/密碼:admin/admin

使用http://tjt03:6080  訪問須要配置下本機的host 文件，配置以下：

Taojie:~ apple$ vi /etc/hosts

5）結果測試

 能夠正常登陸看到以下界面，則安裝OK：

tjt03域名登陸：admin/admin

3.二、安裝hdfs-plugins

因爲以前定義了NameNode的地址爲 hdfs://tjt01:9000，使用hdfs-plugins插件必須安裝在該主機上：

1）上傳並解壓ranger-2.0.0-SNAPSHOT-usersync.tar.gz 文件，而後修改install.properties；

[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-usersync.tar.gz

[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# vi install.properties 

修改1:

POLICY_MGR_URL=http://tjt03:6080
logdir=/var/log/ranger/usersync

修改2:

rangerUsersync_password=enums8000

2）安裝usersync Plugin

[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./setup.sh

執行結果：

3）啓用usersync plugin插件

開機回自動啓動，初次安裝須要手動開啓

[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./ranger-usersync-services.sh start

3.3.2 安裝hdfs-plugin

1）上傳並解壓ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 文件

[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 

而後修改解壓出來的 install.properties 文件：

[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# vi install.properties

修改以下：

POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hadoopdev COMPONENT_INSTALL_DIR_NAME=/opt/hadoop-2.7.6 XAAUDIT.HDFS.HDFS_DIR=hdfs://tjt01:9000/ranger/audit 
XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://tjt01:9000/ranger/audit/%app-
type%/%time:yyyyMMdd% CUSTOM_USER=root CUSTOM_GROUP=root

2）執行啓動命令

[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# ./enable-hdfs-plugin.sh 

3）測試hdfs 插件

新建hdfs 服務：

測試hdfs 服務鏈接：

3.3 安裝hive-plugin

1）上傳並解壓ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz；

[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz

而後修改install.properties文件；

[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# vi install.properties 

修改以下：

POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hivedev COMPONENT_INSTALL_DIR_NAME=/usr/local/hive CUSTOM_USER=root CUSTOM_GROUP=root

2）執行啓動命令：

[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# ./enable-hive-plugin.sh 

3）重啓hive

3.4 安裝hbase-plugin