Impala和Hive集成Sentry、Kerberos認證

關於 Kerberos 的安裝和 HDFS 配置 kerberos 認證，請參考 HDFS配置kerberos認證。

關於 Kerberos 的安裝和 YARN 配置 kerberos 認證，請參考 YARN配置kerberos認證。

關於 Kerberos 的安裝和 Hive 配置 kerberos 認證，請參考 Hive配置kerberos認證。

請先完成 HDFS 、YARN、Hive 配置 Kerberos 認證，再來配置 Impala 集成 Kerberos 認證 ！

參考 使用yum安裝CDH Hadoop集羣 安裝 hadoop 集羣，集羣包括三個節點，每一個節點的ip、主機名和部署的組件分配以下：

192.168.56.121        cdh1     NameNode、Hive、ResourceManager、HBase、impala-state-store、impala-catalog、Kerberos Server
192.168.56.122        cdh2     DataNode、SSNameNode、NodeManager、HBase、impala-server
192.168.56.123        cdh3     DataNode、HBase、NodeManager、impala-server

注意：hostname 請使用小寫，要否則在集成 kerberos 時會出現一些錯誤。

1. 安裝必須的依賴

在每一個節點上運行下面的命令：

1. $ yum install python-devel openssl-devel python-pip cyrus-sasl cyrus-sasl-gssapi cyrus-sasl-devel -y

2. $ pip-python install ssl

2. 生成 keytab

在 cdh1 節點，即 KDC server 節點上執行下面命令：

1. $ cd /var/kerberos/krb5kdc/

2.  

3. kadmin.local -q "addprinc -randkey impala/cdh1@JAVACHEN.COM "

4. kadmin.local -q "addprinc -randkey impala/cdh2@JAVACHEN.COM "

5. kadmin.local -q "addprinc -randkey impala/cdh3@JAVACHEN.COM "

6.  

7. kadmin.local -q "xst -k impala-unmerge.keytab impala/cdh1@JAVACHEN.COM "

8. kadmin.local -q "xst -k impala-unmerge.keytab impala/cdh2@JAVACHEN.COM "

9. kadmin.local -q "xst -k impala-unmerge.keytab impala/cdh3@JAVACHEN.COM "

另外，若是你使用了haproxy來作負載均衡，參考官方文檔Using Impala through a Proxy for High Availability，還需生成 proxy.keytab：

1. $ cd /var/kerberos/krb5kdc/

2.  

3. # proxy 爲安裝了 haproxy 的機器

4. kadmin.local -q "addprinc -randkey impala/proxy@JAVACHEN.COM "

5.  

6. kadmin.local -q "xst -k proxy.keytab impala/proxy@JAVACHEN.COM "

合併 proxy.keytab 和 impala-unmerge.keytab 生成 impala.keytab：

1. $ ktutil

2. ktutil: rkt proxy.keytab

3. ktutil: rkt impala-unmerge.keytab

4. ktutil: wkt impala.keytab

5. ktutil: quit

拷貝 impala.keytab 和 proxy_impala.keytab 文件到其餘節點的 /etc/impala/conf 目錄

1. $ scp impala.keytab cdh1:/etc/impala/conf

2. $ scp impala.keytab cdh2:/etc/impala/conf

3. $ scp impala.keytab cdh3:/etc/impala/conf

並設置權限，分別在 cdh一、cdh二、cdh3 上執行：

1. $ ssh cdh1 "cd /etc/impala/conf/;chown impala:hadoop *.keytab ;chmod 400 *.keytab"

2. $ ssh cdh2 "cd /etc/impala/conf/;chown impala:hadoop *.keytab ;chmod 400 *.keytab"

3. $ ssh cdh3 "cd /etc/impala/conf/;chown impala:hadoop *.keytab ;chmod 400 *.keytab"

因爲 keytab 至關於有了永久憑證，不須要提供密碼(若是修改 kdc 中的 principal 的密碼，則該 keytab 就會失效)，因此其餘用戶若是對該文件有讀權限，就能夠冒充 keytab 中指定的用戶身份訪問 hadoop，因此 keytab 文件須要確保只對 owner 有讀權限(0400)

3. 修改 impala 配置文件

修改 cdh1 節點上的 /etc/default/impala，在 IMPALA_CATALOG_ARGS 、IMPALA_SERVER_ARGS 和 IMPALA_STATE_STORE_ARGS 中添加下面參數：

1. -kerberos_reinit_interval=60

2. -principal=impala/_HOST@JAVACHEN.COM

3. -keytab_file=/etc/impala/conf/impala.keytab

若是使用了 HAProxy（關於 HAProxy 的配置請參考 Hive使用HAProxy配置HA），則 IMPALA_SERVER_ARGS 參數須要修改成（proxy爲 HAProxy 機器的名稱，這裏我是將 HAProxy 安裝在 cdh1 節點上）：

1. -kerberos_reinit_interval=60

2. -be_principal=impala/_HOST@JAVACHEN.COM

3. -principal=impala/proxy@JAVACHEN.COM

4. -keytab_file=/etc/impala/conf/impala.keytab

在 IMPALA_CATALOG_ARGS 中添加：

-state_store_host=${IMPALA_STATE_STORE_HOST} \

將修改的上面文件同步到其餘節點。最後，/etc/default/impala 文件以下，這裏，爲了不 hostname 存在大寫的狀況，使用 hostname 變量替換 _HOST：

1. IMPALA_CATALOG_SERVICE_HOST=cdh1

2. IMPALA_STATE_STORE_HOST=cdh1

3. IMPALA_STATE_STORE_PORT=24000

4. IMPALA_BACKEND_PORT=22000

5. IMPALA_LOG_DIR=/var/log/impala

6.  

7. IMPALA_MEM_DEF=$(free -m |awk 'NR==2{print $2-5120}')

8. hostname=`hostname -f |tr "[:upper:]" "[:lower:]"`

9.  

10. IMPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_host=${IMPALA_STATE_STORE_HOST} \

11. -kerberos_reinit_interval=60\

12. -principal=impala/${hostname}@JAVACHEN.COM \

13. -keytab_file=/etc/impala/conf/impala.keytab

14. "

15.  

16. IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE_STORE_PORT}\

17. -statestore_subscriber_timeout_seconds=15 \

18. -kerberos_reinit_interval=60 \

19. -principal=impala/${hostname}@JAVACHEN.COM \

20. -keytab_file=/etc/impala/conf/impala.keytab

21. "

22. IMPALA_SERVER_ARGS=" \

23. -log_dir=${IMPALA_LOG_DIR} \

24. -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \

25. -state_store_port=${IMPALA_STATE_STORE_PORT} \

26. -use_statestore \

27. -state_store_host=${IMPALA_STATE_STORE_HOST} \

28. -be_port=${IMPALA_BACKEND_PORT} \

29. -kerberos_reinit_interval=60 \

30. -be_principal=impala/${hostname}@JAVACHEN.COM \

31. -principal=impala/cdh1@JAVACHEN.COM \

32. -keytab_file=/etc/impala/conf/impala.keytab \

33. -mem_limit=${IMPALA_MEM_DEF}m

34. "

35.  

36. ENABLE_CORE_DUMPS=false

將修改的上面文件同步到其餘節點：cdh二、cdh3：

1. $ scp /etc/default/impala cdh2:/etc/default/impala

2. $ scp /etc/default/impala cdh3:/etc/default/impala

更新 impala 配置文件下的文件並同步到其餘節點：

1. cp /etc/hadoop/conf/core-site.xml /etc/impala/conf/

2. cp /etc/hadoop/conf/hdfs-site.xml /etc/impala/conf/

3. cp /etc/hive/conf/hive-site.xml /etc/impala/conf/

4.  

5. scp -r /etc/impala/conf cdh2:/etc/impala

6. scp -r /etc/impala/conf cdh3:/etc/impala

4. 啓動服務

啓動 impala-state-store

impala-state-store 是經過 impala 用戶啓動的，故在 cdh1 上先獲取 impala 用戶的 ticket 再啓動服務：

1. $ kinit -k -t /etc/impala/conf/impala.keytab impala/cdh1@JAVACHEN.COM

2. $ service impala-state-store start

而後查看日誌，確認是否啓動成功。

$ tailf /var/log/impala/statestored.INFO

啓動 impala-catalog

impala-catalog 是經過 impala 用戶啓動的，故在 cdh1 上先獲取 impala 用戶的 ticket 再啓動服務：

1. $ kinit -k -t /etc/impala/conf/impala.keytab impala/cdh1@JAVACHEN.COM

2. $ service impala-catalog start

而後查看日誌，確認是否啓動成功。

$ tailf /var/log/impala/catalogd.INFO

啓動 impala-server

impala-server 是經過 impala 用戶啓動的，故在 cdh1 上先獲取 impala 用戶的 ticket 再啓動服務：

1. $ kinit -k -t /etc/impala/conf/impala.keytab impala/cdh1@JAVACHEN.COM

2. $ service impala-server start

而後查看日誌，確認是否啓動成功。

$ tailf /var/log/impala/impalad.INFO

5. 測試

測試 impala-shell

在啓用了 kerberos 以後，運行 impala-shell 時，須要添加 -k 參數：

1. $ impala-shell -k

2. Starting Impala Shell using Kerberos authentication

3. Using service name 'impala'

4. Connected to cdh1:21000

5. Server version: impalad version 1.3.1-cdh4 RELEASE (build 907481bf45b248a7bb3bb077d54831a71f484e5f)

6. Welcome to the Impala shell. Press TAB twice to see a list of available commands.

7.  

8. Copyright (c) 2012 Cloudera, Inc. All rights reserved.

9.  

10. (Shell build version: Impala Shell v1.3.1-cdh4 (907481b) built on Wed Apr 30 14:23:48 PDT 2014)

11. [cdh1:21000] >

12. [cdh1:21000] > show tables;

13. Query: show tables

14. +------+

15. | name |

16. +------+

17. | a |

18. | b |

19. | c |

20. | d |

21. +------+

22. Returned 4 row(s) in 0.08s

6. 排除

若是出現下面異常：

[cdh1:21000] > select * from test limit 10;
Query: select * from test limit 10
ERROR: AnalysisException: Failed to load metadata for table: default.test
CAUSED BY: TableLoadingException: Failed to load metadata for table: test
CAUSED BY: TTransportException: java.net.SocketTimeoutException: Read timed out
CAUSED BY: SocketTimeoutException: Read timed out

則須要在 hive-site.xml 中添加下面參數：

1. <property>

2. <name>hive.metastore.client.socket.timeout</name>

3. <value>3600</value>

4. </property>

本文主要記錄 CDH 5.2 Hadoop 集羣中配置 Impala 和 Hive 集成 Sentry 的過程，包括 Sentry 的安裝、配置以及和 Impala、Hive 集成後的測試。

使用 Sentry 來管理集羣的權限，須要先在集羣上配置好 Kerberos。

關於 Hadoop 集羣上配置 kerberos 以及 ldap 的過程請參考本博客如下文章：

• HDFS配置Kerberos認證
• YARN配置Kerberos認證
• Hive配置Kerberos認證
• Impala配置Kerberos認證
• Hadoop配置LDAP集成Kerberos

Sentry 會安裝在三個節點的 hadoop 集羣上，每一個節點的ip、主機名和部署的組件分配以下：

192.168.56.121        cdh1     NameNode、Hive、ResourceManager、HBase、impala-state-store、impala-catalog、Kerberos Server、sentry-store
192.168.56.122        cdh2     DataNode、SSNameNode、NodeManager、HBase、impala-server
192.168.56.123        cdh3     DataNode、HBase、NodeManager、impala-server

Sentry 的使用有兩種方式，一是基於文件的存儲方式（SimpleFileProviderBackend），一是基於數據庫的存儲方式（SimpleDbProviderBackend），若是使用基於文件的存儲則只須要安裝sentry，不然還須要安裝 sentry-store。

1. 基於數據庫的存儲方式

1.1 安裝服務

在 cdh1 節點上安裝 sentry-store 服務：

yum install sentry sentry-store -y

修改 Sentry 的配置文件 /etc/sentry/conf/sentry-store-site.xml，下面的配置參考了 Sentry源碼中的配置例子：

1. <?xml version="1.0" encoding="UTF-8"?>

2. <configuration>

3. <property>

4. <name>sentry.service.admin.group</name>

5. <value>impala,hive,hue</value>

6. </property>

7. <property>

8. <name>sentry.service.allow.connect</name>

9. <value>impala,hive,hue</value>

10. </property>

11. <property>

12. <name>sentry.verify.schema.version</name>

13. <value>true</value>

14. </property>

15. <property>

16. <name>sentry.service.server.rpc-address</name>

17. <value>cdh1</value>

18. </property>

19. <property>

20. <name>sentry.service.server.rpc-port</name>

21. <value>8038</value>

22. </property>

23. <property>

24. <name>sentry.store.jdbc.url</name>

25. <value>jdbc:postgresql://cdh1/sentry</value>

26. </property>

27. <property>

28. <name>sentry.store.jdbc.driver</name>

29. <value>org.postgresql.Driver</value>

30. </property>

31. <property>

32. <name>sentry.store.jdbc.user</name>

33. <value>sentry</value>

34. </property>

35. <property>

36. <name>sentry.store.jdbc.password</name>

37. <value>redhat</value>

38. </property>

39. <property>

40. <name>sentry.hive.server</name>

41. <value>server1</value>

42. </property>

43. <property>

44. <name>sentry.store.group.mapping</name>

45. <value>org.apache.sentry.provider.common.HadoopGroupMappingService</value>

46. </property>

47. </configuration>

建立數據庫，請參考 Hadoop自動化安裝shell腳本：

1. yum install postgresql-server postgresql-jdbc -y

2.  

3. ln -s /usr/share/java/postgresql-jdbc.jar /usr/lib/hive/lib/postgresql-jdbc.jar

4. ln -s /usr/share/java/postgresql-jdbc.jar /usr/lib/sentry/lib/postgresql-jdbc.jar

5.  

6. su -c "cd ; /usr/bin/pg_ctl start -w -m fast -D /var/lib/pgsql/data" postgres

7. su -c "cd ; /usr/bin/psql --command \"create user sentry with password 'redhat'; \" " postgres

8. su -c "cd ; /usr/bin/psql --command \"CREATE DATABASE sentry owner=sentry;\" " postgres

9. su -c "cd ; /usr/bin/psql --command \"GRANT ALL privileges ON DATABASE sentry TO sentry;\" " postgres

10. su -c "cd ; /usr/bin/psql -U sentry -d sentry -f /usr/lib/sentry/scripts/sentrystore/upgrade/sentry-postgres-1.4.0-cdh5.sql" postgres

11. su -c "cd ; /usr/bin/pg_ctl restart -w -m fast -D /var/lib/pgsql/data" postgres

/var/lib/pgsql/data/pg_hba.conf 內容以下：

# TYPE  DATABASE    USER        CIDR-ADDRESS          METHOD

# "local" is for Unix domain socket connections only
local   all         all                               md5
# IPv4 local connections:
#host    all         all         0.0.0.0/0             trust
host    all         all         127.0.0.1/32          md5

# IPv6 local connections:
#host    all         all         ::1/128               nd5

若是集羣開啓了 Kerberos 驗證，則須要在該節點上生成 Sentry 服務的 principal 並導出爲 ticket：

1. $ cd /etc/sentry/conf

2.  

3. kadmin.local -q "addprinc -randkey sentry/cdh1@JAVACHEN.COM "

4. kadmin.local -q "xst -k sentry.keytab sentry/cdh1@JAVACHEN.COM "

5.  

6. chown sentry:hadoop sentry.keytab ; chmod 400 *.keytab

而後，在/etc/sentry/conf/sentry-store-site.xml 中添加以下內容：

1. <property>

2. <name>sentry.service.security.mode</name>

3. <value>kerberos</value>

4. </property>

5. <property>

6. <name>sentry.service.server.principal</name>

7. <value>sentry/cdh1@JAVACHEN.COM</value>

8. </property>

9. <property>

10. <name>sentry.service.server.keytab</name>

11. <value>/etc/sentry/conf/sentry.keytab</value>

12. </property>

1.2. 準備測試數據

參考 Securing Impala for analysts，準備測試數據：

1. $ cat /tmp/events.csv

2. 10.1.2.3,US,android,createNote

3. 10.200.88.99,FR,windows,updateNote

4. 10.1.2.3,US,android,updateNote

5. 10.200.88.77,FR,ios,createNote

6. 10.1.4.5,US,windows,updateTag

7.  

8. $ hive -S

9. hive> create database sensitive;

10. hive> create table sensitive.events (

11. ip STRING, country STRING, client STRING, action STRING

12. ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

13.  

14. hive> load data local inpath '/tmp/events.csv' overwrite into table sensitive.events;

15. hive> create database filtered;

16. hive> create view filtered.events as select country, client, action from sensitive.events;

17. hive> create view filtered.events_usonly as

18. select * from filtered.events where country = 'US';

1.3 Hive-server2 集成 sentry

要求

在使用 Sentry 時，有以下要求：

一、須要修改 /user/hive/warehouse 權限：

1. hdfs dfs -chmod -R 770 /user/hive/warehouse

2. hdfs dfs -chown -R hive:hive /user/hive/warehouse

二、修改 hive-site.xml 文件，關掉 HiveServer2 impersonation

三、taskcontroller.cfg 文件中確保 min.user.id=0。

修改配置文件

修改 hive-site.xml，添加以下：

1. <property>

2. <name>hive.security.authorization.task.factory</name>

3. <value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>

4. </property>

5. <property>

6. <name>hive.server2.session.hook</name>

7. <value>org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook</value>

8. </property>

9. <property>

10. <name>hive.sentry.conf.url</name>

11. <value>file:///etc/hive/conf/sentry-site.xml</value>

12. </property>

在 /etc/hive/conf/ 目錄建立 sentry-site.xml：

1. <?xml version="1.0" encoding="UTF-8"?>

2. <configuration>

3. <property>

4. <name>sentry.service.client.server.rpc-port</name>

5. <value>8038</value>

6. </property>

7. <property>

8. <name>sentry.service.client.server.rpc-address</name>

9. <value>cdh1</value>

10. </property>

11. <property>

12. <name>sentry.service.client.server.rpc-connection-timeout</name>

13. <value>200000</value>

14. </property>

15. <property>

16. <name>sentry.service.security.mode</name>

17. <value>kerberos</value>

18. </property>

19. <property>

20. <name>sentry.service.server.principal</name>

21. <value>sentry/_HOST@JAVACHEN.COM</value>

22. </property>

23. <property>

24. <name>sentry.service.server.keytab</name>

25. <value>/etc/sentry/conf/sentry.keytab</value>

26. </property>

27. <property>

28. <name>sentry.hive.provider</name>

29. <value>org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider</value>

30. </property>

31. <property>

32. <name>sentry.hive.provider.backend</name>

33. <value>org.apache.sentry.provider.db.SimpleDBProviderBackend</value>

34. </property>

35. <property>

36. <name>sentry.hive.server</name>

37. <value>server1</value>

38. </property>

39. <property>

40. <name>sentry.metastore.service.users</name>

41. <value>hive</value>

42. </property>

43. <property>

44. <name>sentry.hive.testing.mode</name>

45. <value>false</value>

46. </property>

47. </configuration>

sentry-store 中建立角色和組

在 beeline 中經過 hive（注意，在 sentry 中 hive 爲管理員用戶）的 ticket 鏈接 hive-server2，建立 role、group 等等，執行下面語句：

1. create role admin_role;

2. GRANT ALL ON SERVER server1 TO ROLE admin_role;

3. GRANT ROLE admin_role TO GROUP admin;

4. GRANT ROLE admin_role TO GROUP hive;

5.  

6. create role test_role;

7. GRANT ALL ON DATABASE filtered TO ROLE test_role;

8. GRANT ALL ON DATABASE sensitive TO ROLE test_role;

9. GRANT ROLE test_role TO GROUP test;

上面建立了兩個角色，一個是 admin_role，具備管理員權限，能夠讀寫全部數據庫，並受權給 admin 和 hive 組（對應操做系統上的組）；一個是 test_role，只能讀寫 filtered 和 sensitive 數據庫，並受權給 test 組

在 ldap 建立測試用戶

在 ldap 服務器上建立系統用戶 yy_test，並使用 migrationtools 工具將該用戶導入 ldap，最後設置 ldap 中該用戶密碼。

1. # 建立 yy_test用戶

2. useradd yy_test

3.  

4. grep -E "yy_test" /etc/passwd >/opt/passwd.txt

5. /usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif

6. ldapadd -x -D "uid=ldapadmin,ou=people,dc=lashou,dc=com" -w secret -f /opt/passwd.ldif

7.  

8. #使用下面語句修改密碼，填入上面生成的密碼，輸入兩次：

9.  

10. ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=lashou,dc=com' -w secret "uid=yy_test,ou=people,dc=lashou,dc=com" -S

在每臺 datanode 機器上建立 test 分組，並將 yy_test 用戶加入到 test 分組：

groupadd test ; useradd yy_test; usermod -G test,yy_test yy_test

測試

經過 beeline 鏈接 hive-server2，進行測試：

1. # 切換到 test 用戶進行測試

2. $ su test

3.  

4. $ kinit -k -t test.keytab test/cdh1@JAVACHEN.COM

5.  

6. $ beeline -u "jdbc:hive2://cdh1:10000/default;principal=test/cdh1@JAVACHEN.COM"

1.4 Impala 集成 Sentry

修改配置

修改 /etc/default/impala 文件中的 IMPALA_SERVER_ARGS 參數，添加：

1. -server_name=server1

2. -sentry_config=/etc/impala/conf/sentry-site.xml

在 IMPALA_CATALOG_ARGS 中添加：

-sentry_config=/etc/impala/conf/sentry-site.xml

注意：server1 必須和 sentry-provider.ini 文件中的保持一致。

IMPALA_SERVER_ARGS 參數最後以下：

1. hostname=`hostname -f |tr "[:upper:]" "[:lower:]"`

2.  

3. IMPALA_SERVER_ARGS=" \

4. -log_dir=${IMPALA_LOG_DIR} \

5. -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \

6. -state_store_port=${IMPALA_STATE_STORE_PORT} \

7. -use_statestore \

8. -state_store_host=${IMPALA_STATE_STORE_HOST} \

9. -kerberos_reinit_interval=60 \

10. -principal=impala/${hostname}@JAVACHEN.COM \

11. -keytab_file=/etc/impala/conf/impala.keytab \

12. -enable_ldap_auth=true -ldap_uri=ldaps://cdh1 -ldap_baseDN=ou=people,dc=javachen,dc=com \

13. -server_name=server1 \

14. -sentry_config=/etc/impala/conf/sentry-site.xml \

15. -be_port=${IMPALA_BACKEND_PORT} -default_pool_max_requests=-1 -mem_limit=60%"

建立 /etc/impala/conf/sentry-site.xml 內容以下：

1. <?xml version="1.0" encoding="UTF-8"?>

2. <configuration>

3. <property>

4. <name>sentry.service.client.server.rpc-port</name>

5. <value>8038</value>

6. </property>

7. <property>

8. <name>sentry.service.client.server.rpc-address</name>

9. <value>cdh1</value>

10. </property>

11. <property>

12. <name>sentry.service.client.server.rpc-connection-timeout</name>

13. <value>200000</value>

14. </property>

15. <property>

16. <name>sentry.service.security.mode</name>

17. <value>kerberos</value>

18. </property>

19. <property>

20. <name>sentry.service.server.principal</name>

21. <value>sentry/_HOST@JAVACHEN.COM</value>

22. </property>

23. <property>

24. <name>sentry.service.server.keytab</name>

25. <value>/etc/sentry/conf/sentry.keytab</value>

26. </property>

27. </configuration>

測試

請參考下午基於文件存儲方式中 impala 的測試。

2. 基於文件存儲方式

2.1 hive 集成 sentry

修改配置文件

在 hive 的 /etc/hive/conf 目錄下建立 sentry-site.xml 文件，內容以下：

1. <?xml version="1.0" encoding="UTF-8"?>

2. <configuration>

3. <property>

4. <name>hive.sentry.server</name>

5. <value>server1</value>

6. </property>

7. <property>

8. <name>sentry.hive.provider.backend</name>

9. <value>org.apache.sentry.provider.file.SimpleFileProviderBackend</value>

10. </property>

11. <property>

12. <name>hive.sentry.provider</name>

13. <value>org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider</value>

14. </property>

15. <property>

16. <name>hive.sentry.provider.resource</name>

17. <value>/user/hive/sentry/sentry-provider.ini</value>

18. </property>

19. </configuration>

建立 sentry-provider.ini 文件並將其上傳到 hdfs 的 /user/hive/sentry/ 目錄：

1. $ cat /tmp/sentry-provider.ini

2. [databases]

3. # Defines the location of the per DB policy file for the customers DB/schema

4. #db1 = hdfs://cdh1:8020/user/hive/sentry/db1.ini

5.  

6. [groups]

7. admin = any_operation

8. hive = any_operation

9. test = select_filtered

10.  

11. [roles]

12. any_operation = server=server1->db=*->table=*->action=*

13. select_filtered = server=server1->db=filtered->table=*->action=SELECT

14. select_us = server=server1->db=filtered->table=events_usonly->action=SELECT

15.  

16. [users]

17. test = test

18. hive= hive

19.  

20. $ hdfs dfs -rm -r /user/hive/sentry/sentry-provider.ini

21. $ hdfs dfs -put /tmp/sentry-provider.ini /user/hive/sentry/

22. $ hdfs dfs -chown hive:hive /user/hive/sentry/sentry-provider.ini

23. $ hdfs dfs -chmod 640 /user/hive/sentry/sentry-provider.ini

關於 sentry-provider.ini 文件的語法說明，請參考官方文檔。這裏我指定了 Hive 組有所有權限，並指定 Hive 用戶屬於 Hive 分組，而其餘兩個分組只有部分權限。

而後在 hive-site.xml 中添加以下配置：

1. <property>

2. <name>hive.security.authorization.task.factory</name>

3. <value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>

4. </property>

5. <property>

6. <name>hive.server2.session.hook</name>

7. <value>org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook</value>

8. </property>

9. <property>

10. <name>hive.sentry.conf.url</name>

11. <value>file:///etc/hive/conf/sentry-site.xml</value>

12. </property>

將配置文件同步到其餘節點，並重啓 hive-server2 服務。

測試

這裏，我集羣中 hive-server2 開啓了 kerberos 認證，故經過 hive 用戶來鏈接 hive-server2。

1. $ kinit -k -t /etc/hive/conf/hive.keytab hive/cdh1@JAVACHEN.COM

2.  

3. $ beeline -u "jdbc:hive2://cdh1:10000/default;principal=hive/cdh1@JAVACHEN.COM"

4. scan complete in 10ms

5. Connecting to jdbc:hive2://cdh1:10000/default;principal=hive/cdh1@JAVACHEN.COM

6. Connected to: Apache Hive (version 0.13.1-cdh5.2.0)

7. Driver: Hive JDBC (version 0.13.1-cdh5.2.0)

8. Transaction isolation: TRANSACTION_REPEATABLE_READ

9. Beeline version 0.13.1-cdh5.2.0 by Apache Hive

10. 5 rows selected (0.339 seconds)

11.  

12. 0: jdbc:hive2://cdh1:10000/default> show databases;

13. +----------------+--+

14. | database_name |

15. +----------------+--+

16. | default |

17. | filtered |

18. | sensitive |

19. +----------------+--+

20. 10 rows selected (0.145 seconds)

21.  

22. 0: jdbc:hive2://cdh1:10000/default> use filtered

23. No rows affected (0.132 seconds)

24.  

25. 0: jdbc:hive2://cdh1:10000/default> show tables;

26. +----------------+--+

27. | tab_name |

28. +----------------+--+

29. | events |

30. | events_usonly |

31. +----------------+--+

32. 2 rows selected (0.158 seconds)

33. 0: jdbc:hive2://cdh1:10000/default> use sensitive;

34. No rows affected (0.115 seconds)

35.  

36. 0: jdbc:hive2://cdh1:10000/default> show tables;

37. +-----------+--+

38. | tab_name |

39. +-----------+--+

40. | events |

41. +-----------+--+

42. 1 row selected (0.148 seconds)

2.3 impala 集成 sentry

修改配置文件

修改 /etc/default/impala 文件中的 IMPALA_SERVER_ARGS 參數，添加：

1. -server_name=server1

2. -authorization_policy_file=/user/hive/sentry/sentry-provider.ini

3. -authorization_policy_provider_class=org.apache.sentry.provider.file.LocalGroupResourceAuthorizationProvider

注意：server1 必須和 sentry-provider.ini 文件中的保持一致。

IMPALA_SERVER_ARGS 參數最後以下：

1. hostname=`hostname -f |tr "[:upper:]" "[:lower:]"`

2.  

3. IMPALA_SERVER_ARGS=" \

4. -log_dir=${IMPALA_LOG_DIR} \

5. -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \

6. -state_store_port=${IMPALA_STATE_STORE_PORT} \

7. -use_statestore \

8. -state_store_host=${IMPALA_STATE_STORE_HOST} \

9. -be_port=${IMPALA_BACKEND_PORT} \

10. -server_name=server1 \

11. -authorization_policy_file=/user/hive/sentry/sentry-provider.ini \

12. -authorization_policy_provider_class=org.apache.sentry.provider.file.LocalGroupResourceAuthorizationProvider \

13. -enable_ldap_auth=true -ldap_uri=ldaps://cdh1 -ldap_baseDN=ou=people,dc=javachen,dc=com \

14. -kerberos_reinit_interval=60 \

15. -principal=impala/${hostname}@JAVACHEN.COM \

16. -keytab_file=/etc/impala/conf/impala.keytab \

17. "

測試

重啓 impala-server 服務，而後進行測試。由於我這裏 impala-server 集成了 kerberos 和 ldap，如今經過 ldap 來進行測試。

先經過 ldap 的 test 用戶來測試：

1. impala-shell -l -u test

2. Starting Impala Shell using LDAP-based authentication

3. LDAP password for test:

4. Connected to cdh1:21000

5. Server version: impalad version 2.0.0-cdh5 RELEASE (build ecf30af0b4d6e56ea80297df2189367ada6b7da7)

6. Welcome to the Impala shell. Press TAB twice to see a list of available commands.

7.  

8. Copyright (c) 2012 Cloudera, Inc. All rights reserved.

9.  

10. (Shell build version: Impala Shell v2.0.0-cdh5 (ecf30af) built on Sat Oct 11 13:56:06 PDT 2014)

11.  

12. [cdh1:21000] > show databases;

13. Query: show databases

14. +---------+

15. | name |

16. +---------+

17. | default |

18. +---------+

19. Fetched 1 row(s) in 0.11s

20.  

21. [cdh1:21000] > show tables;

22.  

23. Query: show tables

24. ERROR: AuthorizationException: User 'test' does not have privileges to access: default.*

25.  

26. [cdh1:21000] >

能夠看到 test 用戶沒有權限查看和數據庫，這是由於 sentry-provider.ini 文件中並無給 test 用戶分配任何權限。

下面使用 hive 用戶來測試。使用下面命令在 ldap 中建立 hive 用戶和組並給 hive 用戶設置密碼。

1. $ grep hive /etc/passwd >/opt/passwd.txt

2. $ /usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif

3.  

4. $ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/passwd.ldif

5.  

6. $ grep hive /etc/group >/opt/group.txt

7. $ /usr/share/migrationtools/migrate_group.pl /opt/group.txt /opt/group.ldif

8.  

9. $ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/group.ldif

10.  

11. # 修改 ldap 中 hive 用戶密碼

12. $ ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' -w secret "uid=hive,ou=people,dc=javachen,dc=com" -S

而後，使用 hive 用戶測試：

$ impala-shell -l -u hive
    Starting Impala Shell using LDAP-based authentication
    LDAP password for hive:
    Connected to cdh1:21000
    Server version: impalad version 2.0.0-cdh5 RELEASE (build ecf30af0b4d6e56ea80297df2189367ada6b7da7)
    Welcome to the Impala shell. Press TAB twice to see a list of available commands.

    Copyright (c) 2012 Cloudera, Inc. All rights reserved.

    (Shell build version: Impala Shell v2.0.0-cdh5 (ecf30af) built on Sat Oct 11 13:56:06 PDT 2014)

[cdh1:21000] > show databases;
    Query: show databases
    +------------------+
    | name             |
    +------------------+
    | _impala_builtins |
    | default          |
    | filtered         |
    | sensitive        |
    +------------------+
    Fetched 11 row(s) in 0.11s

[cdh1:21000] > use sensitive;
    Query: use sensitive

[cdh1:21000] > show tables;
    Query: show tables
    +--------+
    | name   |
    +--------+
    | events |
    +--------+
    Fetched 1 row(s) in 0.11s

[cdh1:21000] > select * from events;
    Query: select * from events
    +--------------+---------+---------+------------+
    | ip           | country | client  | action     |
    +--------------+---------+---------+------------+
    | 10.1.2.3     | US      | android | createNote |
    | 10.200.88.99 | FR      | windows | updateNote |
    | 10.1.2.3     | US      | android | updateNote |
    | 10.200.88.77 | FR      | ios     | createNote |
    | 10.1.4.5     | US      | windows | updateTag  |
    +--------------+---------+---------+------------+
    Fetched 5 row(s) in 0.76s

一樣，你還可使用其餘用戶來測試。

也可使用 beeline 來鏈接 impala-server 來進行測試：

1. $ beeline -u "jdbc:hive2://cdh1:21050/default;" -n test -p test

2. scan complete in 2ms

3. Connecting to jdbc:hive2://cdh1:21050/default;

4. Connected to: Impala (version 2.0.0-cdh5)

5. Driver: Hive JDBC (version 0.13.1-cdh5.2.0)

6. Transaction isolation: TRANSACTION_REPEATABLE_READ

7. Beeline version 0.13.1-cdh5.2.0 by Apache Hive

8. 0: jdbc:hive2://cdh1:21050/default>

3. 參考文章

• Securing Impala for analysts
• Setting Up Hive Authorization with Sentry
• Sentry源碼中的配置例子

  impala受權

  SHOW CREATE table hue.auth_permission;
  ALTER TABLE hue.auth_permission DROP FOREIGN KEY content_type_id_refs_id_id value;
  DELETE FROM hue.django_content_type;
  ALTER TABLE hue.auth_permission ADD FOREIGN KEY (content_type_id) REFERENCES django_content_type (id);

  爲HDFS定義URI時，還必須指定NameNode。例如：
  GRANT ALL ON URI文件：/// path / to / dir TO <role>
  GRANT ALL ON URI hdfs：// namenode：port / path / to / dir TO <role>
  GRANT ALL ON URI hdfs：// ha -nn-uri / path / to / dir TO <role>
  管理用戶的權限示例
  在此示例中，SQL語句授予 entire_server 角色服務器中的數據庫和URI的全部特權。

  CREATE ROLE whole_server;
  GRANT ROLE whole_server TO GROUP admin_group;
  GRANT ALL ON SERVER server1 TO ROLE whole_server;

  
  具備特定數據庫和表的權限的用戶
  若是用戶具備特定數據庫中特定表的權限，則用戶能夠訪問這些內容，但不能訪問其餘內容。他們能夠在輸出中看到表及其父數據庫 顯示錶格 和 顯示數據庫， 使用 適當的數據庫，並執行相關的行動（選擇 和/或 插）基於表權限。要實際建立表須要全部 數據庫級別的權限，所以您能夠爲用戶設置單獨的角色，以設置架構以及對錶執行平常操做的其餘用戶或應用程序。
  CREATE ROLE one_database;
  GRANT ROLE one_database TO GROUP admin_group;
  GRANT ALL ON DATABASE db1 TO ROLE one_database;

  CREATE ROLE instructor;
  GRANT ROLE instructor TO GROUP trainers;
  GRANT ALL ON TABLE db1.lesson TO ROLE instructor;

  # This particular course is all about queries, so the students can SELECT but not INSERT or CREATE/DROP.
  CREATE ROLE student;
  GRANT ROLE student TO GROUP visitors;
  GRANT SELECT ON TABLE db1.training TO ROLE student;

  使用外部數據文件的權限
  經過數據插入數據時 負載數據 語句，或從普通Impala數據庫目錄以外的HDFS位置引用，用戶還須要對與這些HDFS位置對應的URI的適當權限。

  在這個例子中：

  該 external_table 角色能夠插入並查詢Impala表， external_table.sample。
  該 STAGING_DIR角色能夠指定HDFS路徑/用戶/ Cloudera的/ external_data與負載數據聲明。當Impala查詢或加載數據文件時，它會對該目錄中的全部文件進行操做，而不只僅是單個文件，所以任何Impala均可以位置 參數指的是目錄而不是單個文件。
  CREATE ROLE external_table; 
  GRANT ROLE external_table TO GROUP cloudera; 
  GRANT ALL ON TABLE external_table.sample TO ROLE external_table; 

  CREATE ROLE staging_dir; 
  GRANT ROLE staging TO GROUP cloudera; 
  GRANT ALL ON URI'hdfs：//127.0.0.1：8020 / user / cloudera / external_data'TO ROLE staging_dir;

  將管理員職責與讀寫權限分開
  要建立數據庫，您須要該數據庫的徹底權限，而對該數據庫中的表的平常操做能夠在特定表上使用較低級別的權限執行。所以，您能夠爲每一個數據庫或應用程序設置單獨的角色：能夠建立或刪除數據庫的管理角色，以及只能訪問相關表的用戶級角色。

  在此示例中，職責分爲3個不一樣組中的用戶：
  CREATE ROLE training_sysadmin;
  GRANT ROLE training_sysadmin TO GROUP supergroup;
  GRANT ALL ON DATABASE training1 TO ROLE training_sysadmin;

  CREATE ROLE instructor;
  GRANT ROLE instructor TO GROUP cloudera;
  GRANT ALL ON TABLE training1.course1 TO ROLE instructor;

  CREATE ROLE visitor;
  GRANT ROLE student TO GROUP visitor;
  GRANT SELECT ON TABLE training1.course1 TO ROLE student;

  server=server_name->db=database_name->table=table_name->action=SELECT
  server=server_name->db=database_name->table=table_name->action=ALL

  server=impala-host.example.com->db=default->table=t1->action=SELECT server=impala-host.example.com->db=*->table=audit_log->action=SELECT server=impala-host.example.com->db=default->table=t1->action=*