Ranger使用solrCloud存儲審計日誌

Ranger使用solrCloud存儲審計日誌

標籤（空格分隔）： Ranger

---

1, Zookeeper 搭建

1，忽略。默認已經搭建好zk 集羣。
VECS17820:2181,VECS17821:2181,VECS17822:2181

2,SolrCloud模式安裝（三臺機器）

1，JDK,環境變量及 solr 用戶默認已經創建，且安裝包 及 log 等等目錄均已賦權。

安裝Solr 集羣步驟：

1

solr@VECS017820:/app$ ll
total 412840
lrwxrwxrwx  1 root      root             12 Oct 15 14:19 jdk -> jdk1.8.0_181
drwxr-xr-x  7        10       143      4096 Jul  7  2018 jdk1.8.0_181
drwxr-xr-x  9 root      root           4096 Oct 16 17:16 ranger-2.0.0-admin
-rw-r--r--  1 root      root      250254688 Oct 17 11:05 ranger-2.0.0-admin.tar.gz
lrwxrwxrwx  1 solr      solr             10 Oct 15 17:18 solr -> solr-7.7.2
drwxr-xr-x  9 solr      solr           4096 May 28 23:38 solr-7.7.2
-rw-r--r--  1 solr      solr      172470530 Oct 15 17:14 solr-7.7.2.zip
lrwxrwxrwx  1 zookeeper zookeeper        16 Oct 15 14:22 zookeeper -> zookeeper-3.4.10
drwxr-xr-x 10 zookeeper zookeeper      4096 Mar 23  2017 zookeeper-3.4.10

其中solr 集羣機器上(該節點)的ranger-2.0.0-admin 安裝包爲臨時須要copy到此機器,並非ranger-admin 節點。（後續步驟中會用到這個包的conf 目錄）

2

修改每臺機器的solr配置文件solr.in.sh（在solr 安裝包的 bin 目錄下，在修改後將solr 安裝包及其所涉及的目錄均賦給 solr 用戶。）

SOLR_JAVA_MEM="-Xmx20g -Xms20g -Xmn5g  -Xss256k -XX:MaxPermSize=384m -XX:SurvivorRatio=6 -XX:+UseParNewGC  -XX:ParallelGCThreads=10 -XX:+UseConcMarkSweepGC -XX:ParallelCMSThreads=16 -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullC
ollection -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSMaxAbortablePrecleanTime=500 -XX:CMSFullGCsBeforeCompaction=5 -XX:+CMSClassUnloadingEnabled -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintG
CDateStamps -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/app/solr/bin/gc-solr-`hostname`.log"


ZK_HOST="VECS17820:2181,VECS17821:2181,VECS17822:2181/ranger_audits"

3

在其中一臺solr 集羣節點上執行以下命令，用以在zookeeper上建立 ranger_audits 的chroot目錄，該目錄只須要建立一次

sudo su - solr
cd /app/solr-7.7.2
server/scripts/cloud-scripts/zkcli.sh -zkhost VECS17820:2181,VECS17821:2181,VECS17822:2181 -cmd makepath /ranger_audits

4啓動三臺solr集羣節點(每臺都執行)

sudo su - solr
cd /app/solr-7.7.2/bin
./solr start -c

5 建立名爲ranger_audits的鏈接

注：手動解壓安裝包搭建solr集羣模式，必須使用ranger中的solr配置項建立鏈接

cd /app/solr-7.7.2

bin/solr create_collection -c ranger_audits -d /app/ranger-2.0.0-admin/contrib/solr_for_audit_setup/conf -shards 3 -replicationFactor 2

上面命令執行時，會自動把默認配置集下的 conf 目錄上傳到zookeeper中並關聯到默認的collection中。

三、Ranger-Admin配置

vim /app/ranger-2.0.0-admin/install.properties

#Source for Audit Store. Currently only solr is supported.
# * audit_store is solr
audit_store=solr

# * audit_solr_url URL to Solr. E.g. http://<solr_host>:6083/solr/ranger_audits
audit_solr_urls=http://VECS07820:8983/solr/ranger_audits 
audit_solr_user=
audit_solr_password=
audit_solr_zookeepers=VECS17820:2181,VECS17821:2181,VECS17822:2181/ranger_audits

audit_solr_collection_name=ranger_audits
#solr Properties for cloud mode
audit_solr_config_name=ranger_audits
audit_solr_no_shards=3
audit_solr_no_replica=2
audit_solr_max_shards_per_node=1
audit_solr_acl_user_list_sasl=solr,infra-solr

在setup.sh 以後
/app/ranger/ews/webapp/WEB-INF/classes/conf/ranger-admin-site.xml
配置文件中將會加載 install.perproties 中的配置項。

ranger-admin-site.xml

<property>
                <name>ranger.audit.solr.urls</name>
                <value>http://VECS07820:8983/solr/ranger_audits</value>
                <description />
        </property>
        <property>
                <name>ranger.audit.solr.zookeepers</name>
        <value>VECS07820:2181,VECS07821:2181,VECS07822:2181/ranger_audits</value>
                <description />
        </property>

、Ranger-Hbase-Plugin爲例配置

vi ranger-2.0.0-hdfs-plugin/install.properties

XAAUDIT.SOLR.ENABLE=true

XAAUDIT.SOLR.ZOOKEEPER=VECS17820:2181,VECS17821:2181,VECS17822:2181/ranger_audits