CentOS 離線安裝Cloudera Manager 5和CDH5(版本5.1.3) 詳細文檔

時間 2019-11-07

標籤 centos 離線安裝 cloudera manager cdh5 cdh 版本 5.1.3 詳細文檔欄目 CentOS 简体版

原文原文鏈接

關於CDH和Cloudera Managerhtml

CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop衆多分支中的一種，由Cloudera維護，基於穩定版本的Apache Hadoop構建，並集成了不少補丁，可直接用於生產環境。java

Cloudera Manager則是爲了便於在集羣中進行Hadoop等大數據處理相關的服務安裝和監控管理的組件，對集羣中主機、Hadoop、Hive、Spark等服務的安裝配置管理作了極大簡化。node

系統環境python

實驗環境：Mac下VMware虛擬機【若是使用win7，主節點須要4G內存，其餘節點2G】mysql
操做系統：CentOS 6.5 x64 (至少內存2G以上，這裏內存不夠的同窗建議仍是整幾臺真機配置比較好，將CDH的全部組件所有安裝會佔用不少內存，我已開始設置的虛擬機內存是1G，安裝過程當中直接卡死了)linux
Cloudera Manager：5.1.3sql
CDH: 5.1.3shell

安裝說明數據庫

官方參考文檔：
http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Installation-Guide/cm5ig_install_path_C.htmljson

官方共給出了3中安裝方式：

第一種方法必需要求全部機器都能連網，因爲最近各類國外的網站被牆的厲害，我嘗試了幾回各類超時錯誤，巨耽誤時間不說，一旦失敗，重裝很是痛苦。

第二種方法下載不少包。

第三種方法對系統侵入性最小,最大優勢可實現全離線安裝，並且重裝什麼的都很是方便。後期的集羣統一包升級也很是好。這也是我之因此選擇離線安裝的緣由。

CDH安裝包地址：http://archive.cloudera.com/cdh5/parcels/latest/，因爲咱們的操做系統爲CentOS6.5，須要下載如下文件：

CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
manifest.json

注意：與CDH4的不一樣，原來安裝CDH4的時候還須要下載IMPALA、Cloudera Search(SOLR)，CDH5中將他們包含在一塊兒了，因此只須要下載一個CDH5的包就能夠了。

準備工做：系統環境搭建

如下操做均用root用戶操做。

1. 網絡配置(全部節點)

vi /etc/sysconfig/network

複製代碼

修改hostname：

NETWORKING=yes
HOSTNAME=n1

複製代碼

經過

service network restart

複製代碼

重啓網絡服務生效。

vi /etc/hosts

複製代碼

,修改ip與主機名的對應關係

192.168.1.106 n1
192.168.1.107 n2
192.168.1.108 n3

複製代碼

注意：這裏須要將每臺機器的ip及主機名對應關係都寫進去，本機的也要寫進去，不然啓動Agent的時候會提示hostname解析錯誤。

2.打通SSH，設置ssh無密碼登錄（全部節點）

在主節點上執行

ssh-keygen -t rsa

複製代碼

一路回車，生成無密碼的密鑰對。

將公鑰添加到認證文件中：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

複製代碼

，並設置authorized_keys的訪問權限：

chmod 600 ~/.ssh/authorized_keys

複製代碼

。

scp文件到全部datenode節點：

scp ~/.ssh/authorized_keys root@n2:~/.ssh/

複製代碼

測試：在主節點上ssh n2，正常狀況下，不須要密碼就能直接登錄進去了。

3.安裝Oracle的Java（全部節點）

CentOS，自帶OpenJdk，不過運行CDH5須要使用Oracle的Jdk，須要Java 7的支持。

卸載自帶的OpenJdk，使用

rpm -qa | grep java

複製代碼

查詢java相關的包，使用

rpm -e --nodeps

複製代碼

包名卸載之。

去Oracle的官網下載jdk的rpm安裝包，並使用rpm -ivh 包名安裝之。

因爲是rpm包並不須要咱們來配置環境變量，咱們只須要配置一個全局的JAVA_HOME變量便可，執行命令：

echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

複製代碼

4.安裝配置MySql（主節點）

經過

yum install mysql-server

複製代碼

安裝mysql服務器。

chkconfig mysqld on

複製代碼

設置開機啓動，並

service mysqld start

複製代碼

啓動mysql服務，並根據提示設置root的初試密碼：

mysqladmin -u root password 'xxxx'

複製代碼

。

mysql -uroot -pxxxx

複製代碼

進入mysql命令行，建立如下數據庫：

#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

複製代碼

設置root受權訪問以上全部的數據庫：

#受權root用戶在主節點擁有全部數據庫的訪問權限
grant all privileges on *.* to 'root'@'n1' identified by 'xxxx' with grant option;
flush privileges;

複製代碼

官方MySql配置文檔：http://www.cloudera.com/content/cloudera/en/documentation/cloudera-manager/v5-latest/Cloudera-Manager-Installation-Guide/cm5ig_mysql.html#cmig_topic_5_5

5.關閉防火牆和SELinux

注意：須要在全部的節點上執行，由於涉及到的端口太多了，臨時關閉防火牆是爲了安裝起來更方便，安裝完畢後能夠根據須要設置防火牆策略，保證集羣安全。

關閉防火牆：

service iptables stop （臨時關閉）
chkconfig iptables off （重啓後生效）

複製代碼

關閉SELINUX（實際安裝過程當中發現沒有關閉也是能夠的，不知道會不會有問題，還需進一步進行驗證）:

setenforce 0 （臨時生效）
修改 /etc/selinux/config 下的 SELINUX=disabled （重啓後永久生效）

複製代碼

6.全部節點配置NTP服務

集羣中全部主機必須保持時間同步，若是時間相差較大會引發各類問題。具體思路以下：

master節點做爲ntp服務器與外界對時中心同步時間，隨後對全部datanode節點提供時間同步服務。

全部datanode節點以master節點爲基礎同步時間。

全部節點安裝相關組件：

yum install ntp

複製代碼

。完成後，配置開機啓動：

chkconfig ntpd on

複製代碼

,檢查是否設置成功：

chkconfig --list ntpd

複製代碼

其中2-5爲on狀態就表明成功。

主節點配置

在配置以前，先使用ntpdate手動同步一下時間，省得本機與對時中心時間差距太大，使得ntpd不能正常同步。這裏選用65.55.56.206做爲對時中心,

ntpdate -u 65.55.56.206

複製代碼

。

ntp服務只有一個配置文件，配置好了就OK。這裏只給出有用的配置，不須要的配置都用#注掉，這裏就不在給出：

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

複製代碼

配置文件完成，保存退出，啓動服務，執行以下命令：

service ntpd start

複製代碼

檢查是否成功，用ntpstat命令查看同步狀態，出現如下狀態表明啓動成功：

synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s

複製代碼

若是出現異常請等待幾分鐘，通常等待5-10分鐘才能同步。

配置ntp客戶端（全部datanode節點）

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#這裏是主節點的主機名或者ip
server n1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

複製代碼

ok保存退出，請求服務器前，請先使用ntpdate手動同步一下時間：ntpdate -u n1 (主節點ntp服務器)

這裏可能出現同步失敗的狀況，請不要着急，通常是本地的ntp服務器尚未正常啓動，通常須要等待5-10分鐘才能夠正常同步。啓動服務：

service ntpd start

複製代碼

由於是鏈接內網，此次啓動等待的時間會比master節點快一些，可是也須要耐心等待一下子。

正式開工 安裝Cloudera Manager Server 和Agent

主節點解壓安裝

cloudera manager的目錄默認位置在/opt下，解壓：

tar xzvf cloudera-manager*.tar.gz

複製代碼

將解壓後的cm-5.1.3和cloudera目錄放到/opt目錄下。

爲Cloudera Manager 5創建數據庫

首先須要去MySql的官網下載JDBC驅動，http://dev.mysql.com/downloads/connector/j/，解壓後，找到mysql-connector-java-5.1.33-bin.jar，放到/opt/cm-5.1.3/share/cmf/lib/中。

在主節點初始化CM5的數據庫：

/opt/cm-5.1.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

複製代碼

Agent配置

修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的server_host爲主節點的主機名。

同步Agent到其餘節點

scp -r /opt/cm-5.1.3 root@n2:/opt/

複製代碼

在全部節點建立cloudera-scm用戶

useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

複製代碼

準備Parcels，用以安裝CDH5

將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中（parcel-repo須要手動建立）。

相關的文件以下：

CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
manifest.json

最後將CDH-5.1.3-1.cdh5.1.3.p0.12- el6.parcel.sha1，重命名爲CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha，這點必須注意，不然，系統會從新下載CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。

相關啓動腳本

經過

/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start

複製代碼

啓動服務端。

經過

/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start

複製代碼

啓動Agent服務。

咱們啓動的實際上是個service腳本，須要中止服務將以上的start參數改成stop就能夠了，重啓是restart。

CDH5的安裝配置

Cloudera Manager Server和Agent都啓動之後，就能夠進行CDH5的安裝配置了。

這時能夠經過瀏覽器訪問主節點的7180端口測試一下了（因爲CM Server的啓動須要花點時間，這裏可能要等待一會才能訪問），默認的用戶名和密碼均爲admin：

能夠看到，免費版本的CM5已經沒有原來50個節點數量的限制了。

各個Agent節點正常啓動後，能夠在當前管理的主機列表中看到對應的節點。選擇要安裝的節點，點繼續。

接下來，出現如下包名，說明本地Parcel包配置無誤，直接點繼續就能夠了。

點擊，繼續，若是配置本地Parcel包無誤，那麼下圖中的已下載，應該是瞬間就完成了，而後就是耐心等待分配過程就好了，大約10多分鐘吧，取決於內網網速。

接下來是服務器檢查，可能會遇到如下問題：

Cloudera 建議將 /proc/sys/vm/swappiness 設置爲 0。當前設置爲 60。使用 sysctl 命令在運行時更改該設置並編輯 /etc/sysctl.conf 以在重啓後保存該設置。您能夠繼續進行安裝，但可能會遇到問題，Cloudera Manager 報告您的主機因爲交換運行情況不佳。如下主機受到影響：

複製代碼

經過

echo 0 > /proc/sys/vm/swappiness

複製代碼

便可解決。

接下來是選擇安裝服務：

服務配置，通常狀況下保持默認就能夠了（Cloudera Manager會根據機器的配置自動進行配置，若是須要特殊調整，自行進行設置就能夠了）：

接下來是數據庫的設置，檢查經過後就能夠進行下一步的操做了：

下面是集羣設置的審查頁面，我這裏都是保持默認配置的：

終於到安裝各個服務的地方了，注意，這裏安裝Hive的時候可能會報錯，由於咱們使用了MySql做爲hive的元數據存儲，hive默認沒有帶mysql的驅動，經過如下命令拷貝一個就好了：

cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/

複製代碼

服務的安裝過程大約半小時內就能夠完成：

安裝完成後，就能夠進入集羣界面看一下集羣的當前情況了。

這裏可能會出現沒法發出查詢：對 Service Monitor 的請求超時的錯誤提示，若是各個組件安裝沒有問題，通常是由於服務器比較卡致使的，過一會刷新一下頁面就行了：

測試

在集羣的一臺機器上執行如下模擬Pi的示例程序：

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

複製代碼

執行過程須要花必定的時間，經過YARN的後臺也能夠看到MapReduce的執行狀態：

MapReduce執行過程當中終端的輸出以下：

Number of Maps = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
14/10/13 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at n1/192.168.1.161:8032
14/10/13 01:15:36 INFO input.FileInputFormat: Total input paths to process : 10
14/10/13 01:15:37 INFO mapreduce.JobSubmitter: number of splits:10
14/10/13 01:15:39 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1413132307582_0001
14/10/13 01:15:40 INFO impl.YarnClientImpl: Submitted application application_1413132307582_0001
14/10/13 01:15:40 INFO mapreduce.Job: The url to track the job: http://n1:8088/proxy/application_1413132307582_0001/
14/10/13 01:15:40 INFO mapreduce.Job: Running job: job_1413132307582_0001
14/10/13 01:17:13 INFO mapreduce.Job: Job job_1413132307582_0001 running in uber mode : false
14/10/13 01:17:13 INFO mapreduce.Job: map 0% reduce 0%
14/10/13 01:18:02 INFO mapreduce.Job: map 10% reduce 0%
14/10/13 01:18:25 INFO mapreduce.Job: map 20% reduce 0%
14/10/13 01:18:35 INFO mapreduce.Job: map 30% reduce 0%
14/10/13 01:18:45 INFO mapreduce.Job: map 40% reduce 0%
14/10/13 01:18:53 INFO mapreduce.Job: map 50% reduce 0%
14/10/13 01:19:01 INFO mapreduce.Job: map 60% reduce 0%
14/10/13 01:19:09 INFO mapreduce.Job: map 70% reduce 0%
14/10/13 01:19:17 INFO mapreduce.Job: map 80% reduce 0%
14/10/13 01:19:25 INFO mapreduce.Job: map 90% reduce 0%
14/10/13 01:19:33 INFO mapreduce.Job: map 100% reduce 0%
14/10/13 01:19:51 INFO mapreduce.Job: map 100% reduce 100%
14/10/13 01:19:53 INFO mapreduce.Job: Job job_1413132307582_0001 completed successfully
14/10/13 01:19:56 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=91
FILE: Number of bytes written=1027765
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=2560
HDFS: Number of bytes written=215
HDFS: Number of read operations=43
HDFS: Number of large read operations=0
HDFS: Number of write operations=3
Job Counters
Launched map tasks=10
Launched reduce tasks=1
Data-local map tasks=10
Total time spent by all maps in occupied slots (ms)=118215
Total time spent by all reduces in occupied slots (ms)=11894
Total time spent by all map tasks (ms)=118215
Total time spent by all reduce tasks (ms)=11894
Total vcore-seconds taken by all map tasks=118215
Total vcore-seconds taken by all reduce tasks=11894
Total megabyte-seconds taken by all map tasks=121052160
Total megabyte-seconds taken by all reduce tasks=12179456
Map-Reduce Framework
Map input records=10
Map output records=20
Map output bytes=180
Map output materialized bytes=340
Input split bytes=1380
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=340
Reduce input records=20
Reduce output records=0
Spilled Records=40
Shuffled Maps =10
Failed Shuffles=0
Merged Map outputs=10
GC time elapsed (ms)=1269
CPU time spent (ms)=9530
Physical memory (bytes) snapshot=3792773120
Virtual memory (bytes) snapshot=16157274112
Total committed heap usage (bytes)=2856624128
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=1180
File Output Format Counters
Bytes Written=97
Job Finished in 262.659 seconds
Estimated value of Pi is 3.14800000000000000000

複製代碼

檢查Hue

首次登錄Hue會讓設置一個初試的用戶名和密碼，設置好，登錄到後臺，會作一次檢查，一切正常後會提示：

到這裏代表咱們的集羣可使用了。

遇到的問題

Agent啓動後，安裝階段「當前管理的主機」中顯示的節點不全，每次刷新顯示的都不同。

Agent的錯誤日誌表現以下：

[18/Nov/2014 21:12:56 +0000] 22681 MainThread agent ERROR Heartbeating to master:7182 failed.
Traceback (most recent call last):
File "/home/opt/cm-5.2.0/lib64/cmf/agent/src/cmf/agent.py", line 820, in send_heartbeat
response = self.requestor.request('heartbeat', dict(request=heartbeat))
File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 139, in request
return self.issue_request(call_request, message_name, request_datum)
File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 255, in issue_request
return self.read_call_response(message_name, buffer_decoder)
File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 235, in read_call_response
raise self.read_error(writers_schema, readers_schema, decoder)
File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/ipc.py", line 244, in read_error
return AvroRemoteException(datum_reader.read(decoder))
File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/io.py", line 444, in read
return self.read_data(self.writers_schema, self.readers_schema, decoder)
File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/io.py", line 448, in read_data
if not DatumReader.match_schemas(writers_schema, readers_schema):
File "/home/opt/cm-5.2.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/avro-1.6.3-py2.6.egg/avro/io.py", line 379, in match_schemas
w_type = writers_schema.type
AttributeError: 'NoneType' object has no attribute 'type'