Hadoop_CDH安裝

時間 2020-03-25

標籤 hadoop cdh 安裝欄目 Hadoop 简体版

原文原文鏈接

——本文非我的原創，爲大牛同事整理，發佈於此以備忘html

1 CDH5.8安裝（2018年4月19日）

1.1 物理服務器注意事項

（1）把raid都去掉了，每一個物理盤都用raid0建立一個虛擬盤。Ctrl+r進入dell的raid設置，用F2來進行設置，注意設置完raid後，須要選中建立好的虛擬盤按F2從操做中選fast init，不初始化的話安裝系統的時候找不到硬盤。java

10.10.101.1-10.10.101.4這四臺，每臺服務器三塊硬盤，一個用來裝linux和CDH,一個盤給Hadoop用，最後一個盤給OpenStack使用。node

10.10.101.5服務器給mitaka使用，服務器有兩塊硬盤，煤塊2T。python

（2）操做系統安裝的是centos7.3，CentOS-7-x86_64-Everything-1611。分區調整的時候，把home分區留100多G，其餘的給分到/分區。10.10.101.1和10.10.101.2前面的usb口可能不靈。mysql

1.2 安裝CDH5.8過程

參考地址：https://www.cmgine.com/archives/19130.htmllinux

實際步驟：參考CDH5.12的安裝步驟web

2 CDH 5.12安裝（2018年3月19日）

參考地址：sql

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_command_line.htmlshell

Installing and Deploying CDH Using the Command Line數據庫

http://blog.csdn.net/watermelonbig/article/details/77102187 【重點參考】

Cloudera Manager CDH 5.12 大數據處理平臺部署指南

http://blog.csdn.net/fengdahui/article/details/54426317

CDH-5.XX 離線安裝及升級步驟及安裝過程常見錯誤

http://blog.csdn.net/sunsiyuan521/article/details/77045747

離線安裝Cloudera Manager 5和CDH5(最新版5.12.0) 徹底教程

http://archive.cloudera.com/cdh5/parcels/

離線安裝須要下載的文件的路徑，下載後保存到/opt/cloudera/parcel-repo

https://archive.cloudera.com/cm5/repo-as-tarball/5.12.0/

離線安裝的yum須要的東西

2.1 物理服務器注意事項

（1）NameNode所在的節點通常不要同時作數據節點使用。並且NameNode所在主機的磁盤須要配置適當的RAID保護級別，以提升可靠性。

備註：這裏在公司的hadoop集羣用的是raid5

（2）對於DataNode所在的主機節點，建議系統盤和數據盤徹底隔離開，而後系統盤使用兩磁盤配置爲RAID1以提升可靠性。雖然數據節點是冗餘的，掛一個也不影響CDH平臺運行，但修起來仍是很麻煩。

備註：其餘數據結點都是用的raid0，總共有3個數據結點。

注意dell服務器重啓的時候按ctrl+r進入raid設置，按F2進行操做。設置完後須要選中硬盤初始化，不然安裝的時候出錯。

2.2 安裝centos7.2及環境調整

2.2.1 環境調整

用u盤啓動安裝centos7.2，安裝完畢後須要進行如下操做：

（1）設置IP地址。

（2）修改機器名。

hostnamectl set-hostname hadoop1（僅centos7）

（3）重啓網絡

命令：service network restart

（4）用xshell鏈接上已有的計算機，大部分命令能夠一塊兒操做了。

（5）禁用selinux。

getenforce

setenforce 0

vi /etc/selinux/config

將SELINUX=enforcing改成SELINUX=disabled

注意：按i進入編輯狀態，按esc退回到命令狀態,命令狀態按:wq並回車保存並退出。

（6）禁用防火牆。

systemctl stop firewalld

systemctl disable firewalld.service

firewall-cmd --state 查看防火牆狀態

（7）設置hosts

vi /etc/hosts

10.10.101.1 hadoop1

10.10.101.2 hadoop2

10.10.101.3 hadoop3

10.10.101.4 hadoop4

10.10.101.5 mitaka

（8）設置免密登陸

在全部的服務器上運行ssh-keygen，而後一路回車。

用xshell給每臺機器上執行

ssh-copy-id 192.168.0.100 注意拷貝的IP是要安裝cdh的服務器的IP

ssh-copy-id 192.168.0.101

ssh-copy-id 10.10.101.1 之後登陸10.10.101.1就不用再輸入口令了

執行完後看 cat /root/.ssh/authorized_key 是否存在，若是不存在，則手動建立

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_key

把全部計算機上的authorized_key文件合併成一個文件，再拷貝到各個計算機上。

這樣能夠保證每一個服務器之間均可以相互免密登陸。

驗證：

ssh root@hadoop1

exit

ssh root@hadoop2

exit

ssh root@hadoop3

exit

ssh root@hadoop4

exit

（9）設置參數優化。

命令：vi /etc/sysctl.conf 回車輸入i進入編輯狀態，把下面的內容粘貼到文件最後

vm.swappiness = 0

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

net.ipv4.ip_local_port_range = 1024 65000

按esc退出編輯狀態，輸入:wq保存並退出。

命令：vi /etc/rc.local 把下面的內容追加到文件最後

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

按esc退出編輯狀態，輸入:wq保存並退出。

source /etc/rc.local

命令：chmod +x /etc/rc.d/rc.local 這個命令不能少，不然重啓後/etc/rc.local不能自動執行。

2.2.2 驗證優化參數

（10）重啓 reboot

（11）檢查參數優化是否優化成功。

命令：getenforce 檢查結果是不是Disabled

命令：firewall-cmd --state 檢查防火牆是否關閉

命令：cat /sys/kernel/mm/transparent_hugepage/defrag 看是不是選中了never。

命令：cat /proc/sys/vm/swappiness 看結果是不是設置的0，若是設置的是10，則結果顯示是10。

注意：若是centos是在vmware虛擬機安裝的，這個參數可能會改不了，一直是30。物理機的centos沒有問題。

上面命令一塊兒執行以下：

getenforce

firewall-cmd --state

cat /sys/kernel/mm/transparent_hugepage/defrag

cat /proc/sys/vm/swappiness

2.3 把centos安裝盤設置成本地源（離線安裝mysql wget須要）

注意：若是是在線安裝也挺快，就不用設置本地源了

（1）新建用來掛載的目錄。

cd /mnt/

mkdir iso cdrom

cd /mnt/iso

（2）把CentOS-7-x86_64-Everything-1511.iso文件拷貝到/mnt/iso目錄下。

（3）執行掛載命令以下：

mount -o loop /mnt/iso/CentOS-7-x86_64-Everything-1511.iso /mnt/cdrom/

(mount命令 -o指定選項，loop用來把一個文件當成硬盤分區mount到目錄)

須要加到/etc/rc.local文件中，做爲開機執行語句，不然重啓後還須要從新執行此命令

（4）備份原來的源文件。

cd /etc/yum.repos.d/

mkdir bak

mv *.repo ./bak

（5）設置本地源

vi /etc/yum.repos.d/iso.repo

[Centos]

name=CentOS

baseurl=file:///mnt/cdrom

gpgcheck=0

enabled=1

編輯好後保存並關閉文件。

（6）安裝後面用到的工具

yum install wget -y 須要安裝，不然後面安裝CDH有報錯

yum install deltarpm -y 須要安裝，不然後面安裝CDH有報錯

yum install psmisc -y 須要安裝，不然後面安裝CDH有報錯

yum install wget -y

yum install deltarpm -y

yum install psmisc -y

2.4 正式安裝CDH

2.4.1 安裝oracle jdk （都安裝）

（1）下載rpm安裝包

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

注意：下載的時候須要登陸oracle的賬號。

（2）安裝rpm包

rpm -ivh jdk-8u161-linux-x64.rpm

（3）編輯配置文件指定java的home目錄並導出環境變量

vi /etc/profile 將下面的內容拷貝到文件最後

JAVA_HOME=/usr/java/jdk1.8.0_161

PATH=$JAVA_HOME/bin:$PATH:.

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

注意：編輯的時候別把PATH參數搞錯了，不然可能會引發命令找不到問題。

執行source /etc/profile

（4）檢查java是否安裝成功

echo $JAVA_HOME 顯示：/usr/java/jdk1.8.0_161

java -version 顯示結果以下：

java version "1.8.0_161"

Java(TM) SE Runtime Environment (build 1.8.0_161-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

說明：出現上面的結果，說明java已經安裝成功。

2.4.2 安裝mysql （只裝1臺）

有多種方法，這裏centos7.2的安裝iso文件搭建本地yum源，而後再安裝。

（1）正式安裝mysql

yum install mariadb mariadb-server -y

systemctl enable mariadb.service

systemctl start mariadb.service

mysql_secure_installation

最後一個命令，設置數據庫的root的口令爲admin@123

驗證：

#mysql -u root -p

輸入剛纔設置的口令admin@123

若是能正常登陸，說明mysql安裝成功了

注意：若是不能安裝須要先卸載衝突的包

rpm -qa | grep mariadb #查看安裝信息

rpm -e mariadb-libs* --nodeps #根據查找到的軟件包信息卸載

rpm -e mariadb-libs-5.5.52-1.el7.x86_64 --nodeps

（2）優化數據庫

跳過：這裏沒有設置。

2.4.3 建立須要的數據庫（只操做1臺）

Role	Database	User	Password
Activity Monitor	amon	amon	amon_password
Reports Manager	rman	rman	rman_password
Hive Metastore Server	metastore	hive	hive_password
Sentry Server	sentry	sentry	sentry_password
Cloudera Navigator Audit Server	nav	nav	nav_password
Cloudera Navigator Metadata Server	navms	navms	navms_password
Oozie	oozie	oozie	oozie_password
Hue	hue	hue	hue_password

登陸數據庫：mysql -u root -p

輸入密碼admin@123

create database amon DEFAULT CHARACTER SET utf8;

create database rman DEFAULT CHARACTER SET utf8;

create database hive DEFAULT CHARACTER SET utf8;

create database sentry DEFAULT CHARACTER SET utf8;

create database nav DEFAULT CHARACTER SET utf8;

create database navms DEFAULT CHARACTER SET utf8;

create database oozie DEFAULT CHARACTER SET utf8;

create database hue DEFAULT CHARACTER SET utf8;

grant all on amon.* TO amon@'%' IDENTIFIED BY 'amon_password';

grant all on rman.* TO rman@'%' IDENTIFIED BY 'rman_password';

grant all on hive.* TO hive@'%' IDENTIFIED BY 'hive_password';

grant all on sentry.* TO sentry@'%' IDENTIFIED BY 'sentry_password';

grant all on nav.* TO nav@'%' IDENTIFIED BY 'nav_password';

grant all on navms.* TO navms@'%' IDENTIFIED BY 'navms_password';

grant all on oozie.* TO oozie@'%' IDENTIFIED BY 'oozie_password';

grant all on hue.* TO hue@'%' IDENTIFIED BY 'hue_password';

1.1.1 安裝時間同步服務1（OpenStack須要的時間服務器）

（1）在 時間服務器 上配置：

yum install chrony -y

vi /etc/chrony.conf

server hadoop1 iburst

server s1a.time.edu.cn iburst //改爲這個或保持原來的均可以

allow 192.168/16 //注意修改爲合適的網段

注意：上面是控制節點的設置，其餘節點的時間服務器指定爲hadoop0

systemctl enable chronyd.service

systemctl start chronyd.service

chronyc sources

（2）設置時區

timedatectl set-timezone Asia/Shanghai

顯示時間

date

（3）在其餘機器上的配置

yum install chrony -y

vi /etc/chrony.conf

server hadoop1 iburst

注意：上面是控制節點的設置，其餘節點的時間服務器指定爲hadoop0

systemctl enable chronyd.service

systemctl start chronyd.service

chronyc sources 查看時間服務器是否能同步了。

1.1.2 安裝時間服務2（這個是CDH須要的時間服務）

[root@CDH-DEV1 .ssh]# yum install ntp

【時間服務器服務端的設置】

修改配置文件：vi /etc/ntp.conf，修改如下部分

server time.asia.apple.com

server 127.127.1.0

fudge 127.127.1.0 stratum 11

參考：https://blog.csdn.net/chuan_day/article/details/55096426

【其餘服務器的設置】

server 10.10.101.5 iburst

【設置開機啓動】

[root@CDH-DEV1 .ssh]# chkconfig ntpd on

【服務啓動】

[root@CDH-DEV1 .ssh]# service ntpd start

【重啓服務】

[root@CDH-DEV1 .ssh]# service ntpd restart

驗證命令：

CDH系統錯誤提示詳情頁面給的查看命令：ntpdc -np

一直查看同步的時間：watch ntpq -p 按ctrl+c結束查看

使用ntpstat 命令查看時間同步狀態，這個通常須要5-10分鐘後才能成功鏈接和同步。因此，服務器啓動後須要稍等下。

1.1.1 安裝Cloudera Manager Server 軟件（都安裝）

（1）新建目錄，考入壓縮包並解壓

mkdir /opt/cloudera-manager

cd /opt/cloudera-manager

考入壓縮包cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz拷貝

解壓縮tar zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz

（2）建立CM Server系統用戶帳號

useradd --system --home=/opt/cloudera-manager/cm-5.12.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

Cdh5.8.0安裝：

useradd --system --home=/opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

（3）建立CM Server的本地數據存儲目錄

mkdir -p /var/lib/cloudera-scm-server

chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

（4）配置全部節點上的Cloudera Manager Agents

sed -i 's/server_host=localhost/server_host=hadoop1/' /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini

說明：上面的命令的意思是vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent/config.ini

vi /opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini

將裏面的server_host=localhost 修改成server_host=hadoop1 設置CM的服務器名。

（5）建立和初始化CM Server數據庫

將mysql-connector-java-5.1.45-bin.jar 拷貝到 /opt/cloudera-manager/cm-5.12.0/share/cmf/lib

5.8的操做

makedir -p /usr/share/java/

scp mysql-connector-java-5.1.45-bin.jar root@hadoop1:/opt/cm-5.8.0/share/cmf/lib/

scp mysql-connector-java-5.1.45-bin.jar root@hadoop1:/usr/share/java/

初始化腳本語法爲：scm_prepare_database.sh database-type [options] database-name username password

命令以下：

/opt/cloudera-manager/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -padmin@123 scm scm scm

5.8的操做以下：

/opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -padmin@123 scm scm scm

注意：上面的數據庫的口令是admin@123 最後三個scm是數據庫名用戶名和口令。

命令執行後的顯示結果以下：

JAVA_HOME=/usr/java/jdk1.7.0_80

Verifying that we can write to /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server

Creating SCM configuration file in /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server

Executing: /usr/java/jdk1.7.0_80/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.12.0/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

[ main] DbCommandExecutor INFO Successfully connected to database.

All done, your SCM database is configured correctly!

登陸mysql （mysql -u root -padmin@123），增長一條對CM Server主機的訪問受權：

grant all on scm.* TO 'scm'@'hadoop1' IDENTIFIED BY 'scm';

登陸hadoop1節點配置CM Server的數據庫配置文件：

vi /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-server/db.properties

vi /opt/cm-5.8.0/etc/cloudera-scm-server/db.properties

須要根據實際狀況更新如下參數。

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=hadoop1

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=scm

com.cloudera.cmf.db.setupType=EXTERNAL

com.cloudera.cmf.db.password=scm

（6）建立CDH Parcel資源目錄

在hadoop1節點上：

mkdir -p /opt/cloudera/parcel-repo

cd /opt/cloudera/parcel-repo

將如下已經準備好的parcel資源文件放入該目錄：

CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel

CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel.sha

manifest.json

設置該目錄的所屬用戶和組：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

在其它全部節點上：

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

（7）啓動cloudera manager server and agents

直接使用root運行啓動腳本便可，腳本中已經默認設定爲會切換到cloudera-scm用戶運行進程。

在全部節點上，先調整下文件屬主權限：

chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

安裝：yum install psmisc，不然提示pstree命令找不到（前面已經安裝過了就不用再裝了）

1.1.1.1 啓動server和agent

5.8.0的操做

scp -r /opt/cm-5.8.0/ root@hadoop2:/opt/

在hadoop1節點上啓動CM Server：

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server start

/opt/cm-5.8.0/etc/init.d/cloudera-scm-server start

在全部節點上啓動CM agent：

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent start

/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start

/opt/cm-5.8.0/etc/init.d/cloudera-scm-server start

/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start

中止的操做:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop

注：在啓動上面的服務時，注意檢查進程是否運行，是否因報錯退出。能夠檢查../../log/下面的日誌文件，分析錯誤緣由。

1.1.2 登陸http://10.10.101.1:7180 進行配置

登陸管理站點

注意：若是上面的啓動服務的命令剛執行完，等一會這個站點才能徹底啓動。

注意：上面選核心Hadoop可能安裝不過，建議選最後面的自定義，只選擇hdfs試一試。

HBase HDFS Oozie ZooKeeper

集羣設置-自定義角色分配

注意：在根據狀況進行選擇，這邊只裝了一臺。

集羣設置-數據庫設置

在安裝CDH過程的分配這一步，老是遇到「主機運行狀態不良」的提示，解決辦法以下：

rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent restart

1.1 錯誤解決

1.1.1 網絡接口速度警告

操做：

（1）查看網卡狀況：ethtool em1

（2）查看網卡狀況：ifconfig | more 發現em2和em3有橋接狀況

（3）查看橋接：brctl show

1.1.1 防止出錯的預防操做

cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib/

cp /opt/cm-5.8.0/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /var/lib/oozie/

1.1.2 啓動agent出錯

操做：mkdir /opt/cm-5.8.0/run/cloudera-scm-agent

1.1.3 主機狀態不良的解決辦法(ok)

rm -f /opt/cloudera-manager/cm-5.12.0/lib/cloudera-scm-agent/cm_guid

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent restart

1.1.4 NFS Gateway啓動失敗

在要運行NFS Gateway的服務器上安裝：rpcbind

yum install rpcbind

service rpcbind start

systemctl enable rpcbind

1.1.5 Oozie客戶端不能訪問少ext

/opt/cloudera/parcels/CDH/lib/oozie/libext

把ext-2.2.zip 解壓縮後放到這個目錄。

1.1.6 oozie啓動失敗

（1）拷貝mysql的驅動文件。

一個是須要把java的mysql的驅動jar文件拷貝到oozie的lib目錄中

/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/oozie/lib

（2）在界面中點擊建立oozie的表

點到oozie裏面，在操做中選擇建立oozie的表，而後再啓動oozie就能啓動了。

1.1.7 Yarn部署客戶端出錯

部署客戶端出錯：

須要yum install perl -y

查看日誌：

1.1.8 Yarn啓動失敗

查看日誌：

tail -f /var/log/hadoop-mapreduce/hadoop-cmf-yarn-JOBHISTORY-hadoop1.log.out

查看日誌：不能建立目錄hdfs://hadoop1:8020/user/history/

解決辦法，手動建立？

su hdfs

hadoop fs -mkdir hdfs://hadoop1:8020/user/history/

點開yarn後，有命令操做能夠經過CDH的界面建立。

1.1.9 Hive啓動失敗

（1）把mysql-connector-java-5.1.45-bin.jar 拷貝到

/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib

（2）建立hive須要的表：點Hive->操做->建立表，這個也是經過CDH的界面建立。

1.1.10 Hue啓動失敗

（1）還須要運行命令

yum install -y python-lxml

參考網址：http://www.javashuo.com/article/p-xewljyrn-hv.html

（2）建立目錄

mkdir -p /var/log/hue-httpd/

touch /var/log/hue-httpd/error_log

（3）安裝服務httpd，mod_ssl

yum install httpd mod_ssl -y

（4）安裝sasl，不然打開hue站點的時候有錯誤提示

yum install cyrus-sasl-devel

yum install cyrus-sasl-gssapi

重啓hue

yum install krb5-server.x86_64 krb5-devel.x86_64 （這個不須要？）

1.2 經常使用操做

1.2.1 日誌

Agent日誌：/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-agent

Server日誌：/opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server

查看cm服務啓動日誌

tail -f /opt/cloudera-manager/cm-5.12.0/log/cloudera-scm-server/cloudera-scm-server.log

1.2.2 啓動中止服務

在hadoop0節點上啓動CM Server：

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server start

在全部節點上啓動CM agent：

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent start

中止的操做:

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-agent stop

/opt/cloudera-manager/cm-5.12.0/etc/init.d/cloudera-scm-server stop

1 在線安裝

1.1 QuickStarts for CDH 5.12

https://www.cloudera.com/downloads/quickstart_vms/5-12.html

1.2 Cloudera Manager 5.14.1 （2018年2月26日）

1.2.1 安裝參考（官網參考+我的註釋）

安裝參考網址

https://www.cloudera.com/downloads/manager/5-8-0.html

Automated Installation

Ideal for trying Cloudera enterprise data hub, the installer will download Cloudera Manager from Cloudera's website and guide you through the setup process.

Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt.

重作系統，把/目錄增長空間，這個是給/var和/opt目錄使用，/home減小了100G，給/增長了300G。

設置機器名爲hadoop1 命令#vi /etc/hostname

重作系統後須要設置IP爲192.168.0.100

用yum update升級後，發現centos的版本也升級了，變成centos7.4了，不能再裝CDH-5.8.0了。

重裝centos7.2系統，並安裝wget：yum install wget

設置IP爲192.168.0.100，設置機器名爲hadoop1

chmod +x /etc/rc.d/rc.local

並在rc.local中添加

echo 10 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

wget這個命名沒有安裝，須要先安裝

yum install wget

$ chmod u+x cloudera-manager-installer.bin

修改文件權限，增長可執行權限。

$ sudo ./cloudera-manager-installer.bin

須要關閉防火牆

關閉selinux

setenforce 0

vi /etc/selinux/config 修改保存後須要重啓。

能夠執行，安裝完畢後，提示訪問http://192.168.0.100:7180繼續安裝，用戶名口令是admin

不能訪問，關閉防火牆。systemctl stop firewalld

關閉防火牆後能夠正常訪問。

選擇安裝的時候選擇的有效期60天的中間的產品。

安裝成功，提示有兩個警告須要處理，警告以下：

Cloudera 建議將 /proc/sys/vm/swappiness 設置爲最大值 10。當前設置爲 60。使用 sysctl 命令在運行時更改該設置並編輯 /etc/sysctl.conf，以在重啓後保存該設置。您能夠繼續進行安裝，但 Cloudera Manager 可能會報告您的主機因爲交換而運行情況不良。如下主機將受到影響：

hadoop1

已啓用透明大頁面壓縮，可能會致使重大性能問題。請運行「echo never > /sys/kernel/mm/transparent_hugepage/defrag」和「echo never > /sys/kernel/mm/transparent_hugepage/enabled」以禁用此設置，而後將同一命令添加到 /etc/rc.local 等初始化腳本中，以便在系統重啓時予以設置。如下主機將受到影響:

hadoop1