cloudera manager安裝使用

參考文章地址：離線安裝Cloudera Manager 5和CDH5(最新版5.1.3) 徹底教程

參考文章一步一步安裝，有如下幾個注意點

準備工做：系統環境搭建

1.在準備工做系統環境搭建6步都不能少，但沒必要參照文章上的作法，參照本人以前的博客。

2.在第3步中，參考個人博客：linux安裝jdk，必定要作博客中的第6步，將jdk軟連接到/usr/java/default，不然的話後面部署客戶端配置必定會報錯：cloudera manager報錯「客戶端配置 (id=3) 已使用 1 退出,而預期值爲 0」，  安裝完jdk以後，需執行命令：echo "JAVA_HOME=/apps/jdk1.7.0_55" >> /etc/environment，把jdk配置到環境變量中，同時必定要安裝oracle的jdk，咱們在oracle官網下的都是oracle 的jdk，使用命令java -version查看java版本，帶有HotSpot的是oraclejdk，參考：怎麼查看jdk是open jdk仍是oracle jdk

3.第4步mysql的設置，安裝本人的博客安裝mysql：RHEL下源碼編譯安裝mysql-5.6.24和初始化配置，優化設置好了以後，root用戶是能夠在任意節點擁有因此權限，就不須要按照參考文章上的「設置root受權訪問以上全部的數據庫」這一步了，而後也不須要先就建立hive和amon數據庫，在添加服務的時候，提示要數據庫時再去建立便可，建立數據庫的命令以下：create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

4.安裝前，先優化linux服務器，參考， Linux服務器初始化優化 ：https://my.oschina.net/cjun/blog/761282

正式開工

1.去官網下載cloudera-manager-el6-cm5.7.1_x86_64.tar.gz，注意el6就是enterprise linux6，和centos6的包是通用的，官網地址：http://archive.cloudera.com/cm5/cm/5/

2.在主節點將壓縮包解壓到/opt目錄，tar –zxvf cloudera-manager-el6-cm5.7.1_x86_64.tar.gz /opt，安裝cloudera manager就用root用戶裝了，也別想着用別的用戶安裝，太麻煩。

3.將mysql的驅動包mysql-connector-java-5.1.35-bin.jar上傳到/opt/cm-5.7.1/share/cmf/lib目錄下。

4.初始化cm的數據庫：/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql -h 192.168.1.11 -uroot -p123456 --scm-host 192.168.1.11 scm scm scm

參數解釋：mysql，表明數據庫類型是mysql數據庫。-h –u -p就是數據庫的域名，用戶，密碼，就用root用戶。最後面的三個scm，就是爲cm建立的數據庫名，用戶，密碼。注意scm咱們是無法登錄的，進去數據庫用select * from user;命令查看就知道，scm用戶是沒有什麼權限的。--scm-host是指咱們登錄scm的數據庫機器的域名，好比cm服務器a，數據庫服務器b，若是在b中host文件中配置了域名a，那麼—scm-host就能使用a，若是在b中的host域名中沒有配置a，那麼就只能使用a的ip地址了，由於登錄scm數據庫時，是有域名驗證的。因此這裏能夠直接使用ip地址。具體參數解釋，能夠參照官網：scm_prepare_database.sh Syntax

5.修改/opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini中的server_host的值，值爲主節點的hostname：bigdata1。

6.將cm-5.7.1分發到其他的agent節點：scp -r /opt/cm-5.7.1 root@bigdata2:/opt/

7.在全部節點建立cloudera-scm用戶：useradd --system --home=/opt/cm-5.7.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

8.準備Parcels，用以安裝CDH5，將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中。相關的文件爲：CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel、CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha一、manifest.json，最後將CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1，重命名爲CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha，這點必須注意，不然，系統會從新下載CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。官網parcels包下載地址：http://archive.cloudera.com/cdh5/parcels/5.7.1.11/

9.相關啓動腳本，在主節點經過/opt/cm-5.7.1/etc/init.d/cloudera-scm-server start啓動服務端。在全部節點經過/opt/cm-5.7.1/etc/init.d/cloudera-scm-agent start啓動Agent服務，注意cloudera manager是一個主節點，多個agent節點，在主節點上同時也是運行着agent的。咱們啓動的實際上是個service腳本，須要中止服務將以上的start參數改成stop就能夠了，重啓是restart，查看狀態status

10.都啓動起來以後，就能夠訪問web界面了：http://bigdata1:7180，用戶名密碼是admin/admin。

11.第一次訪問時會運行自動添加集羣cluster的嚮導，按照嚮導一步一步來，不知道的就默認，有可能出現下面的狀況

就在節點上運行命令：echo 10 > /proc/sys/vm/swappiness，但這僅僅是臨時生效，下次重啓就會失效了，想要永久生效，還需執行命令：echo 'vm.swappiness = 10' >> /etc/sysctl.conf。因此同時執行這兩個命令，參考：交換分區設置

還有可能在透明大頁面檢查不經過，就運行它建議的命令，好比：echo never > /sys/kernel/mm/transparent_hugepage/defrag。但這也是臨時生效，下次重啓就會失效了，想要永久生效，還需執行命令：echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local。因此同時執行這兩個命令。

還有須要輸入數據庫的，好比hive，就用前面創建數據庫的命令先創建數據庫，而後配置好。

12.若是最後都成功了，那恭喜你了。若是最後沒有成功，好比說啓動spark，或者hive沒有成功，沒關係，咱們退出到CM的管理主頁，把上面顯示的警告解決了。而後再單獨獨立的解決每個服務的問題。先解決基礎的，zookeeper，hdfs，yarn等等，再解決上層應用的。

13.若是實在是配置解決不來，就刪除相關服務，從新添加服務，注意刪除的時候，必定要刪除乾淨，每個服務都有可能須要刪除下面幾個方面：刪除/var/lib下面對應服務的目錄。若是是dfs，yarn，還有可能須要刪除/dfs，/yarn等目錄。刪除對應的數據庫。

14.在添加hive的時候，有可能提示hive缺乏jdbc驅動包，將mysql的驅動包mysql-connector-java-5.1.35-bin.jar上傳到/opt/cloudera/parcels/CDH/lib/hive/lib或者/usr/share/java（有可能驅動包須要重命名）目錄下便可。

15.在啓動spark時，有可能提示Log directory specified does not exist: hdfs://bigdata1:8020/user/spark/applicationHistory。咱們手動在hdfs上添加/user/spark/applicationHistory目錄，主要目錄的owner須要是spark用戶，能夠先用hdfs用戶新建此目錄，而後使用命令：hdfs dfs –chown –R spark:spark /user/spark/applicationHistory，將擁有者轉換成spark便可。

16.若是出現「客戶端配置 (id=3) 已使用 1 退出,而預期值爲 0」錯誤，參考：cloudera manager報錯「客戶端配置 (id=3) 已使用 1 退出,而預期值爲 0」