hadoop記錄篇9-cm5安裝zookeeper，hadoop，yarn，hive

一。 CDH安裝hadoop

    CDH安裝教程參考 （https://blog.csdn.net/liaomin416100569/article/details/80019323） 安裝過程是從cdh離線安裝完成還沒有在cdh admin控制檯 進行任何操做 （注意版本 以前文章使用 5.5.6 這裏使用版本 5.7.2）
    進入 首頁  http://192.168.58.133:7180/ 輸入admin/admin 進入後 贊成協議
    版本選擇中選擇  Cloudera Express （免費版）
  

接下來 列出全部cdh支持的軟件包

將安裝此安裝程序Cloudera Express5.7.2，您能夠稍後經過此安裝程序選擇如下服務的軟件包（可能會涉及到許可證）。

Apache Hadoop（Common、HDFS、MapReduce、YARN）
Apache HBase
Apache ZooKeeper
Apache Oozie
Apache Hive
Hue（已獲 Apache 許可）
Apache Flume
Cloudera Impala（許可的 Apache）
Apache Sentry
Apache Sqoop
Cloudera Search（許可的 Apache）
Apache Spark
您正在使用 Cloudera Manager 安裝和配置您的系統。您能夠經過單擊上面的支持菜單瞭解更多有關 Cloudera Manager 的信息。

接下來 配置過agent的被管理的主機

選擇cdh版本（奇怪 我這裏是5.7.2爲啥是5.7.6了 我下載的parcel也是5.7.2不能白下啊 ）
個人parce路徑 （默認將parcel parcel.sha1 json都存放在 /opt/cloudera/parcel-repo目錄下）：

[root@cdh1 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@cdh1 parcel-repo]# ll
total 1414964
drwxr-xr-x 2 root root       4096 Apr 23 16:17 5.7.2
-rw-r--r-- 1 root root 1448796525 Apr 23 15:16 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel
-rw-r--r-- 1 root root         41 Apr 23 16:25 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha
-rw-r--r-- 1 root root         41 Apr 23 15:02 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1
-rw-r----- 1 root root      55444 Apr 23 16:26 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.torrent
-rw-r--r-- 1 root root      49962 Apr 23 16:37 manifest.json

點擊更多選項按鈕

將後面的{latest_supported}/ 替換成當前版本 5.7.2/

點擊肯定按鈕後 看到正確的版本

選擇第一個點擊下一步
既然說 5.7.6是穩定版本 那就下載一個 5.7.6的parcel( http://archive.cloudera.com/cdh5/parcels/5.7.6) 選擇5.7.6的cdh
這裏注意一點 （必定要將 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1  重命名爲 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha）不然他會從新下載cdh包

界面上1% 一直累加全部 parcel包有問題  一次性到100%正常
注意parcel包 須要解壓等其餘操做 全部機器須要安裝第三方安裝庫

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

若是你不安裝這些命令 有可能在配置部署客戶端（hdfs命令 impala-shell命令等就是客戶端 （命令讀取默認配置文件等））時 報錯  好比

Deploy Client Configuration failed.所有   只會失敗   僅限運行狀態 詳細信息 已完成 1 個步驟（共 1 個）。步驟	上下文	

開始時間	持續時間	操做生成並部署客戶端配置。 僅完成 0/4 個步驟。首個失敗：主機 node3 (id=2) 上的客戶端配置 (id=7) 已使用 127 退出，而預期值爲 0。

錯誤圖：

通常錯誤 能夠查看日誌文件路徑：/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-agent/process/最後一個/logs
能夠看到最後錯誤 判斷是沒有安裝 perl 這裏我也糾結半天 
/opt/cloudera-manager/cm-5.7.2/lib64/cmf/service/client/deploy-cc.sh: line 115: perl: command not found

這裏解壓 激活 整個過程 大概持續5-20分鐘左右吧  等吧 接下來 

檢查主機正確性  （等待就不截圖了）

 羣集設置 選擇你要安裝的服務 我選擇核心服務 也能夠自定義接下來 進行集羣的角色分配 好比hdfs中的namenode 和datanode的分配 其餘組件的分配 我這裏 就將datanode選所有其餘默認

注意下面圖的Cloudera Management Service會監控全部主機狀態 若是配置在cdh2上 我2G的機器 至少佔到1.3G其餘的服務建議都不要再安裝在這臺機器 不然出現問題 要麼加大內容要麼重開一臺虛擬機吧

接下來配置數據庫 （hive和oozie的元數據）注意 每一臺機器的 /usr/share/java 都須要有mysql的驅動類  mysql-connector-java.jar

必須給hive和oozie分別參加一個帳戶

MariaDB [(none)]> grant all on *.* to hive identified by 'hive';
Query OK, 0 rows affected (0.10 sec)

MariaDB [(none)]> grant all on *.* to oozie identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

參加兩個數據庫

MariaDB [(none)]> create database hive;
Query OK, 1 row affected (0.00 sec)

MariaDB [(none)]> create database oozie;
Query OK, 1 row affected (0.00 sec)

界面指定（數據庫服務器 已經建立的數據庫 及用戶名密碼 不能使用root ）

接下來 各組件的配置 好比namenode和datanode的位置等  默認值便可

安裝完成後 因爲安裝了太多服務 基本 我16G的筆記本處於佔用 12G內存的狀態 爲了測試正常 個人從新分配下機器  進入
集羣主界面  將全部的服務都刪除

界面查看通常會出現 host monitor時發生內部錯誤

通常是你安裝的Cloudera Managerment Service 有幾個參數錯誤 通常解決訪問修改建議參數重啓該服務

點擊進入修改

重啓服務

二 。CDH安裝zookeeper

   zookeeper是分佈式調度和配置中心 應該先被安裝 

   集羣上 添加服務
 

接下來選擇服務類型  選擇zookeeper

接下來添加角色分配  也就是選擇哪臺主機  選擇cdh3
接下來 配置數據目錄和事務日誌目錄 默認便可

而後等待初始化完成和啓動 
界面上查看啓動日誌 能夠知道zookeeper的安裝目錄

點擊主機  全部 主機 查看cdh3 佔用系統資源不多

 固然我這裏只是單機的zookeeper是不對的 應該安裝的時候最少三臺以上機器 
 點擊主頁zookeeper鏈接進入  查看zookeeper的圖標 以及服務器（或者點擊工具欄 實例）

點擊命令 - 最近的命令 

點擊啓動 能夠查看全部命令的日誌

根據日誌進入 進入zookeeper_home

[root@cdh3 init.d]# cd /opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/zookeeper

進入bin目錄

[root@cdh3 zookeeper]# cd bin
[root@cdh3 bin]# ll
total 28
-rwxr-xr-x 1 root root 1909 Feb 21  2017 zkCleanup.sh
-rwxr-xr-x 1 root root 1512 Feb 21  2017 zkCli.sh
-rwxr-xr-x 1 root root 2599 Feb 21  2017 zkEnv.sh
-rwxr-xr-x 1 root root 4559 Feb 21  2017 zkServer-initialize.sh
-rwxr-xr-x 1 root root 6246 Feb 21  2017 zkServer.sh

使用zkCli.sh執行建立節點查看節點等命令

[zk: localhost:2181(CONNECTED) 0] create /a hello
Created /a
[zk: localhost:2181(CONNECTED) 1] get /a
hello
cZxid = 0x55
ctime = Mon Apr 23 19:24:51 PDT 2018
mZxid = 0x55
mtime = Mon Apr 23 19:24:51 PDT 2018
pZxid = 0x55
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
[zk: localhost:2181(CONNECTED) 2]

正常 。。。。。。。。

二 。CDH安裝hadoop

 1》安裝 hdfs

namenode cdh3 
secondnamenode  cdh4
datanode chd3  cdh4

安裝過程選擇 參考zookeeper  安裝完成過程 

    查看建立日誌  

  

可知 hdfs安裝目錄 

/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hadoop-hdfs

查看hdfs（用戶是hdfs）

[root@cdh3 bin]# hdfs dfs -ls /
Found 1 items
drwxrwxrwt   - hdfs supergroup          0 2018-04-23 19:39 /tmp

執行hdfs建立目錄 root沒有權限全部者是hdfs 

[root@cdh3 ~]# hdfs dfs -mkdir /test
mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

點擊hdfs 進入配置搜索權限 將

檢查 HDFS 權限

dfs.permissions

勾選掉

若是須要從新安裝hdfs記住清空 數據一些目錄

[root@cdh3 ~]# rm -rf /tmp
[root@cdh3 ~]# rm -rf /dfs/dn
[root@cdh3 ~]# rm -rf /dfs/nn
[root@cdh3 ~]# rm -rf /dfs/snn

若是從新建立 失敗 添加服務的時候 修改這三個目錄的位置 

若是須要作hdfs高可用 點擊進入hdfs 右側 設置高可用

進入設置 JournalNode 主機  以及其餘設置便可（具體原理參考https://blog.csdn.net/liaomin416100569/article/details/78301242）

進入cdh4 使用命令進入測試

[root@cdh4 soft]# echo aa>a.txt
[root@cdh4 soft]# hdfs dfs -mkdir /test
[root@cdh4 soft]# hdfs dfs -put a.txt /test
[root@cdh4 soft]# hdfs dfs -text a.txt
text: `a.txt': No such file or directory
[root@cdh4 soft]# hdfs dfs -text /test/a.txt
aa

 2》安裝 yarn

 同hdfs 添加yarn服務 選擇yarn安裝機器 cdh4  設置nodemanager目錄
 

能夠點擊yarn進入網頁 查看mapreduce的ui頁面（ResourceManager web UI）

使用java開發時 須要hadoop相關配置 點擊右側菜單 下載客戶端配置

三 。CDH安裝hive

 同上添加服務 設置cdh3中 添加Hive Metastore Server和HiveServer2，配置hive在hdfs的目錄
Gateway選擇 cdh2-cdh4表示這幾臺機器也可使用hive命令操做

安裝完成界面 同hdfs 不演示了 在linuxshell使用hive命令 操做參考https://blog.csdn.net/liaomin416100569/article/details/78395266