Hadoop配置LDAP集成Kerberos
本文主要記錄 cdh hadoop 集羣集成 ldap 的過程，這裏 ldap 安裝的是 OpenLDAP 。LDAP 用來作帳號管理，Kerberos做爲認證。受權通常來講是由應用來決定的，經過在 LDAP 數據庫中配置一些屬性可讓應用程序來進行受權判斷。php
關於 Kerberos 的安裝和 HDFS 配置 kerberos 認證，請參考 HDFS配置kerberos認證。html
參考 使用yum安裝CDH Hadoop集羣 安裝 hadoop 集羣，集羣包括三個節點，每一個節點的ip、主機名和部署的組件分配以下：java
192.168.56.121 cdh1 Kerberos KDC 、OpenLDAP 192.168.56.122 cdh2 kerberos client、ldap client 192.168.56.123 cdh3 kerberos client、ldap client
注意：hostname 請使用小寫，要否則在集成 kerberos 時會出現一些錯誤。linux
環境說明：shell
- 操做系統：Centos6.6
- OpenLDAP 版本：2.4.39
- Kerberos 版本：1.10.3
- CDH 版本：cdh-5.2.0
1. 安裝服務端
1.1 安裝
同安裝 kerberos 同樣，這裏使用 cdh1 做爲服務端安裝 openldap。數據庫
bash$ yum install db4 db4-utils db4-devel cyrus-sasl* krb5-server-ldap -y $ yum install openldap openldap-servers openldap-clients openldap-devel compat-openldap -y
查看安裝的版本：apache
bash$ rpm -qa openldap openldap-2.4.39-8.el6.x86_64 $ rpm -qa krb5-server-ldap krb5-server-ldap-1.10.3-33.el6.x86_64
1.2 OpenSSL
若是，你不配置ssl，這部份內容能夠略過，實際安裝過程當中，我也沒有詳細去操做這部份內容。ubuntu
OpenLDAP 默認使用 Mozilla NSS，安裝後已經生成了一份證書，可以使用 certutil -d /etc/openldap/certs/ -L -n 'OpenLDAP Server' 命令查看。使用以下命令生成RFC格式CA證書並分發到客戶機待用。vim
bash$ certutil -d /etc/openldap/certs/ -L -a -n 'OpenLDAP Server' -f /etc/openldap/certs/password > /etc/openldap/ldapCA.rfc # 拷貝到其餘節點 $ scp /etc/openldap/ldapCA.rfc cdh2:/tmp $ scp /etc/openldap/ldapCA.rfc cdh3:/tmp
附，生成自簽名證書的命令供參考：centos
bash$ certutil -d /etc/openldap/certs -S -n 'test cert' -x -t 'u,u,u' -s 'C=XX, ST=Default Province, L=Default City, O=Default Company Ltd, OU=Default Unit, CN=cdh1' -k rsa -v 120 -f /etc/openldap/certs/password
修改 /etc/sysconfig/ldap，開啓 ldaps：
bash# Run slapd with -h "... ldaps:/// ..." # yes/no, default: no SLAPD_LDAPS=yes
1.3 LDAP 服務端配置
更新配置庫：
bashrm -rf /var/lib/ldap/* cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG chown -R ldap.ldap /var/lib/ldap
在2.4之前的版本中，OpenLDAP 使用 slapd.conf 配置文件來進行服務器的配置，而2.4開始則使用 slapd.d 目錄保存細分後的各類配置，這一點須要注意，其數據存儲位置即目錄 /etc/openldap/slapd.d 。儘管該系統的數據文件是透明格式的，仍是建議使用 ldapadd, ldapdelete, ldapmodify 等命令來修改而不是直接編輯。
默認配置文件保存在 /etc/openldap/slapd.d，將其備份：
bashcp -rf /etc/openldap/slapd.d /etc/openldap/slapd.d.bak
添加一些基本配置，並引入 kerberos 和 openldap 的 schema：
bash$ cp /usr/share/doc/krb5-server-ldap-1.10.3/kerberos.schema /etc/openldap/schema/ $ touch /etc/openldap/slapd.conf $ echo "include /etc/openldap/schema/corba.schema include /etc/openldap/schema/core.schema include /etc/openldap/schema/cosine.schema include /etc/openldap/schema/duaconf.schema include /etc/openldap/schema/dyngroup.schema include /etc/openldap/schema/inetorgperson.schema include /etc/openldap/schema/java.schema include /etc/openldap/schema/misc.schema include /etc/openldap/schema/nis.schema include /etc/openldap/schema/openldap.schema include /etc/openldap/schema/ppolicy.schema include /etc/openldap/schema/collective.schema include /etc/openldap/schema/kerberos.schema" > /etc/openldap/slapd.conf $ echo -e "pidfile /var/run/openldap/slapd.pid\nargsfile /var/run/openldap/slapd.args" >> /etc/openldap/slapd.conf #更新slapd.d $ slaptest -f /etc/openldap/slapd.conf -F /etc/openldap/slapd.d $ chown -R ldap:ldap /etc/openldap/slapd.d && chmod -R 700 /etc/openldap/slapd.d
1.4 啓動服務
啓動 LDAP 服務：
bashchkconfig --add slapd chkconfig --level 345 slapd on /etc/init.d/slapd start
查看狀態，驗證服務端口：
bash$ ps aux | grep slapd | grep -v grep ldap 9225 0.0 0.2 581188 44576 ? Ssl 15:13 0:00 /usr/sbin/slapd -h ldap:/// -u ldap $ netstat -tunlp | grep :389 tcp 0 0 0.0.0.0:389 0.0.0.0:* LISTEN 8510/slapd tcp 0 0 :::389 :::* LISTEN 8510/slapd
若是啓動失敗，則運行下面命令來啓動 slapd 服務並查看日誌：
bash$ slapd -h ldap://127.0.0.1 -d 481
待查明緣由以後，中止該進程使用正常方式啓動 slapd 服務。
1.5 LDAP 和 Kerberos
在Kerberos安全機制裏，一個principal就是realm裏的一個對象，一個principal老是和一個密鑰（secret key）成對出現的。
這個principal的對應物能夠是service，能夠是host，也能夠是user，對於Kerberos來講，都沒有區別。
Kdc(Key distribute center)知道全部principal的secret key，但每一個principal對應的對象只知道本身的那個secret key。這也是 "共享密鑰" 的由來。
爲了使 Kerberos 可以綁定到 OpenLDAP 服務器，請建立一個管理員用戶和一個 principal，並生成 keytab 文件，設置該文件的權限爲 LDAP 服務運行用戶可讀（ LDAP 服務運行用戶通常爲 ldap）：
bash$ kadmin.local -q "addprinc ldapadmin@JAVACHEN.COM" $ kadmin.local -q "addprinc -randkey ldap/cdh1@JAVACHEN.COM" $ kadmin.local -q "ktadd -k /etc/openldap/ldap.keytab ldap/cdh1@JAVACHEN.COM" $ chown ldap:ldap /etc/openldap/ldap.keytab && chmod 640 /etc/openldap/ldap.keytab
ktadd 後面的-k 指定把 key 存放在一個本地文件中。
使用 ldapadmin 用戶測試：
bashkinit ldapadmin
系統會提示輸入密碼，若是一切正常，那麼會安靜的返回。實際上，你已經經過了kerberos的身份驗證，且得到了一個Service TGT(Ticket-Granting Ticket). Service TGT的意義是， 在一段時間內，你均可以用此TGT去請求某些service，好比ldap service，而不須要再次經過kerberos的認證。
確保 LDAP 啓動時使用上一步中建立的keytab文件，在 /etc/sysconfig/ldap 增長 KRB5_KTNAME 配置：
bashexport KRB5_KTNAME=/etc/openldap/ldap.keytab
而後，重啓 slapd 服務。
1.6 建立數據庫
進入到 /etc/openldap/slapd.d 目錄，查看 etc/openldap/slapd.d/cn\=config/olcDatabase={2}bdb.ldif 能夠看到一些默認的配置，例如：
olcRootDN: cn=Manager,dc=my-domain,dc=com olcRootPW: secret olcSuffix: dc=my-domain,dc=com
接下來更新這三個配置，創建 modify.ldif 文件，內容以下：
bashdn: olcDatabase={2}bdb,cn=config
changetype: modify
replace: olcSuffix
olcSuffix: dc=javachen,dc=com
dn: olcDatabase={2}bdb,cn=config
changetype: modify
replace: olcRootDN
# Temporary lines to allow initial setup
olcRootDN: uid=ldapadmin,ou=people,dc=javachen,dc=com
dn: olcDatabase={2}bdb,cn=config
changetype: modify
add: olcRootPW
olcRootPW: secret
dn: cn=config
changetype: modify
add: olcAuthzRegexp
olcAuthzRegexp: uid=([^,]*),cn=GSSAPI,cn=auth uid=$1,ou=people,dc=javachen,dc=com
dn: olcDatabase={2}bdb,cn=config
changetype: modify
add: olcAccess
# Everyone can read everything
olcAccess: {0}to dn.base="" by * read
# The ldapadm dn has full write access
olcAccess: {1}to * by dn="uid=ldapadmin,ou=people,dc=javachen,dc=com" write by * read
說明：
- 上面的密碼使用的是明文密碼 secret ，你也可使用
slappasswd -s secret生成的字符串做爲密碼。 - 上面的權限中指明瞭只有用戶
uid=ldapadmin,ou=people,dc=javachen,dc=com有寫權限。
使用下面命令導入更新配置：
bash$ ldapmodify -Y EXTERNAL -H ldapi:/// -f modify.ldif
這時候數據庫沒有數據，須要添加數據，你能夠手動編寫 ldif 文件來導入一些用戶和組，或者使用 migrationtools 工具來生成 ldif 模板。建立 setup.ldif 文件以下：
dn: dc=javachen,dc=com objectClass: top objectClass: dcObject objectclass: organization o: javachen com dc: javachen dn: ou=people,dc=javachen,dc=com objectclass: organizationalUnit ou: people description: Users dn: ou=group,dc=javachen,dc=com objectClass: organizationalUnit ou: group dn: uid=ldapadmin,ou=people,dc=javachen,dc=com objectClass: inetOrgPerson objectClass: posixAccount objectClass: shadowAccount cn: LDAP admin account uid: ldapadmin sn: ldapadmin uidNumber: 1001 gidNumber: 100 homeDirectory: /home/ldap loginShell: /bin/bash
使用下面命令導入數據，密碼是前面設置的 secret 。
bash$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f setup.ldif
參數說明：
-
-w指定密碼 -
-x是使用一個匿名的綁定
1.7 LDAP 的使用
添加
如上面示例
導入系統用戶
接下來你能夠從 /etc/passwd, /etc/shadow, /etc/groups 中生成 ldif 更新 ldap 數據庫，這須要用到 migrationtools 工具。
安裝：
bash$ yum install migrationtools -y
利用遷移工具生成模板，先修改默認的配置：
bash$ vim /usr/share/migrationtools/migrate_common.ph #line 71 defalut DNS domain $DEFAULT_MAIL_DOMAIN = "javachen.com"; #line 74 defalut base $DEFAULT_BASE = "dc=javachen,dc=com";
生成模板文件：
bash/usr/share/migrationtools/migrate_base.pl > /opt/base.ldif
而後，能夠修改該文件，而後執行導入命令：
bash$ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/base.ldif
將當前節點上的用戶導入到 ldap 中，能夠有選擇的導入指定的用戶：
bash# 先添加用戶 $ useradd test hive # 查找系統上的 test、hive 等用戶 $ grep -E "test|hive" /etc/passwd >/opt/passwd.txt $ /usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif $ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/passwd.ldif
將用戶組導入到 ldap 中：
bash# 生成用戶組的 ldif 文件，而後導入到 ldap $ grep -E "test|hive" /etc/group >/opt/group.txt $ /usr/share/migrationtools/migrate_group.pl /opt/group.txt /opt/group.ldif $ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/group.ldif
查詢
查詢新添加的 test 用戶：
bash$ ldapsearch -LLL -x -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' -w secret -b 'dc=javachen,dc=com' 'uid=test' dn: uid=test,ou=people,dc=javachen,dc=com objectClass: inetOrgPerson objectClass: posixAccount objectClass: shadowAccount cn: test account sn: test uid: test uidNumber: 1001 gidNumber: 100 homeDirectory: /home/test loginShell: /bin/bash
能夠看到，經過指定 'uid=test'，咱們只查詢這個用戶的數據，這個查詢條件叫作filter。有關 filter 的使用能夠查看 ldapsearch 的 manpage。
修改
用戶添加好之後，須要給其設定初始密碼，運行命令以下：
bash$ ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' -w secret "uid=test,ou=people,dc=javachen,dc=com" -S
刪除
刪除用戶或組條目：
bash$ ldapdelete -x -w secret -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' "uid=test,ou=people,dc=javachen,dc=com" $ ldapdelete -x -w secret -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' "cn=test,ou=group,dc=javachen,dc=com"
2. 客戶端配置
在 cdh2 和 cdh3上，使用下面命令安裝openldap客戶端
bash$ yum install openldap-clients -y
修改 /etc/openldap/ldap.conf 如下兩個配置
BASE dc=javachen,dc=com URI ldap://cdh1
而後，運行下面命令測試：
bash#先刪除 ticket
$ kdestroy
$ ldapsearch -b 'dc=javachen,dc=com'
SASL/GSSAPI authentication started
ldap_sasl_interactive_bind_s: Local error (-2)
additional info: SASL(-1): generic failure: GSSAPI Error: Unspecified GSS failure. Minor code may provide more information (No credentials cache found)
從新獲取 ticket：
bash$ kinit root/admin $ ldapsearch -b 'dc=javachen,dc=com' # 沒有報錯了 $ ldapwhoami SASL/GSSAPI authentication started SASL username: root/admin@JAVACHEN.COM SASL SSF: 56 SASL installing layers dn:uid=root/admin,ou=people,dc=javachen,dc=com Result: Success (0) # 直接輸入 ldapsearch 不會報錯 $ ldapsearch
3. 配置 Hive 集成 LDAP
說明： CDH5.2 以前 hive-server2 支不支持集成 ldap，故須要升級 cdh 版本到高版本，如 cdh5.3，該版本支持 ldap。
修改配置文件
這部份內容參考自Using LDAP Username/Password Authentication with HiveServer2。
我這使用的是 OpenLDAP ，故修改 hive-site.xml 配置文件以下：
xml<property> <name>hive.server2.authentication</name> <value>LDAP</value> </property> <property> <name>hive.server2.authentication.ldap.url</name> <value>ldap://cdh1</value> </property> <property> <name>hive.server2.authentication.ldap.baseDN</name> <value>ou=people,dc=javachen,dc=com</value> </property>
爲何這樣配置，能夠參考 LdapAuthenticationProviderImpl.java 源碼。
測試
重啓服務：
bash/etc/init.d/hive-server2 restart
而後使用 beeline 測試：
bashbeeline --verbose=true beeline> !connect jdbc:hive2://cdh1:10000/default Connecting to jdbc:hive2://cdh1:10000/default; Enter username for jdbc:hive2://cdh1:10000/default;: hive Enter password for jdbc:hive2://cdh1:10000/default;: ****
4. 配置 Impala 集成 LDAP
修改配置文件
修改 /etc/default/impala 中的 IMPALA_SERVER_ARGS 參數，添加
bash-enable_ldap_auth=true \ -ldap_uri=ldaps://cdh1 \ -ldap_baseDN=ou=people,dc=javachen,dc=com
注意：
- 若是沒有開啓 ssl，則添加
-ldap_passwords_in_clear_ok=true，一樣若是開啓了 ssl，則ldap_uri值爲ldaps://XXXX - ldap_baseDN 的值是
ou=people,dc=javachen,dc=com，由於 impala 會將其追加到uid={用戶名},後面
測試
重啓服務：
bash$ /etc/init.d/impala-server restart
而後使用 impala-shell 測試：
bash$ impala-shell -l -u test Starting Impala Shell using LDAP-based authentication LDAP password for test: Connected to cdh1:21000 Server version: impalad version 2.0.0-cdh5 RELEASE (build ecf30af0b4d6e56ea80297df2189367ada6b7da7) Welcome to the Impala shell. Press TAB twice to see a list of available commands. Copyright (c) 2012 Cloudera, Inc. All rights reserved. (Shell build version: Impala Shell v2.0.0-cdh5 (ecf30af) built on Sat Oct 11 13:56:06 PDT 2014) [cdh1:21000] >
使用 beeline 經過 ldap 方式來鏈接 jdbc 進行測試：
bash$ beeline -u "jdbc:hive2://cdh1:21050/default;" -n test -p test scan complete in 2ms Connecting to jdbc:hive2://cdh1:21050/default; Connected to: Impala (version 2.0.0-cdh5) Driver: Hive JDBC (version 0.13.1-cdh5.2.0) Transaction isolation: TRANSACTION_REPEATABLE_READ Beeline version 0.13.1-cdh5.2.0 by Apache Hive 0: jdbc:hive2://cdh1:21050/default>show tables; +-----------------------------+--+ | name | +-----------------------------+--+ | t1 | | tab1 | | tab2 | | tab3 | +-----------------------------+--+ 4 rows selected (0.325 seconds)
5. 參考文章
- New in CDH 5.2: Impala Authentication with LDAP and Kerberos
- 使用 LDAP + Kerberos 實現集中用戶認證及受權系統
- Linux NFS服務器的安裝與配置
- linux的LDAP認證服務器的配置及客戶端pam網絡驗證明例
- Kerberos and LDAP
- RHEL6配置簡單LDAP服務器
- 使用 LDAP 和 Kerberos
- kerberos與openldap整合
- LDAP配置示例
- centos下yum安裝配置openldap 2.4.23-32外送svn的apache下配置
- Integrating LDAP and Kerberos: Part Two (LDAP)
- Debian GNU and Ubuntu: Setting up MIT Kerberos
- 1. kerberos集成ldap
- 2. ldap配置系列三：grafana集成ldap
- 3. ldap配置系列二：jenkins集成ldap
- 4. CDH5.3配置Kerberos+LDAP+Sentry記錄
- 5. Apache Hadoop配置Kerberos指南
- 6. CDH6.2.0集成kerberos（已經集成了ldap,sentry）
- 7. ldap + kerberos 整合
- 8. jumpserver配置ldap集成windows AD認證
- 9. SAS 連接kerberos hadoop集羣
- 10. Centos 7 集成安裝Apache+PHP+Kerberos+LDAP+phpLDAPadmin
- 更多相關文章...
- • Eclipse Debug 配置 - Eclipse 教程
- • Maven 環境配置 - Maven教程
- • IntelliJ IDEA 代碼格式化配置和快捷鍵
- • IDEA下SpringBoot工程配置文件沒有提示
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. kerberos集成ldap
- 2. ldap配置系列三：grafana集成ldap
- 3. ldap配置系列二：jenkins集成ldap
- 4. CDH5.3配置Kerberos+LDAP+Sentry記錄
- 5. Apache Hadoop配置Kerberos指南
- 6. CDH6.2.0集成kerberos（已經集成了ldap,sentry）
- 7. ldap + kerberos 整合
- 8. jumpserver配置ldap集成windows AD認證
- 9. SAS 連接kerberos hadoop集羣
- 10. Centos 7 集成安裝Apache+PHP+Kerberos+LDAP+phpLDAPadmin