CDH hadoop 部署

1. 全部免密鑰登錄（all節點）（centos6 操做系統）

node01 2C  6G
node02 2C  2G
node03 2C  2G
2.node01 安裝數據庫 mysql5.5（node01節點）
https://blog.csdn.net/u012402177/article/details/82870433
root/123456
3.下載基礎的軟件（all 節點）
yum  -y  install  chkconfig python bind-utils psmisc libxslt  zlib sqlite cyrus-sasl-plain  cyrus-sasl-gssapi fuse  fuse-libs  redhat-lsb
/etc/init.d/ntpd  start  
解決agent啓動會有問題：
/opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/build/env/bin/python: error while loading shared libraries: libpython2.6.so.1.0: cannot open shared object file: No such file or directory
wget  http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz
tar -xzvf Python-2.6.6.tgz
cd  Python-2.6.6
./configure --prefix=/foo/python26 --enable-shared
make
make altinstall
sudo ln -s /foo/python26/lib/libpython2.6.so.1.0  /usr/lib/libpython2.6.so.1.0
4.clouderamanager安裝(server 和 agent節點都須要  all)
 mkdir /opt/cloudera-manager
 tar xvzf cloudera-manager*.tar.gz  -C /opt/cloudera-manager
5.添加用戶全部節點
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
6.修該全部agent節點的server的地址
/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host
7.建立目錄
Server節點
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent節點
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
8.server節點製做源(文件放在以下路徑)
cd  /opt/cloudera/parcel-repo
[root@node01 parcel-repo]# 11
-rw-r--r-- 1 root root 1272629458 Oct 30 13:33 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
-rw-r--r-- 1 root root         41 Oct 30 13:33 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
-rw-r--r-- 1 root root      42625 Oct 30 13:32 manifest.json
9.配置CM數據庫  以及數據庫鏈接驅動
mkdir -p   /usr/share/java/
cd /usr/share/java/
cp -a  /root/install/mysql-connector-java-5.1.26-bin.jar   ./
mv  mysql-connector-java-5.1.26-bin.jar  mysql-connector-java.jar
建立庫（server端執行）
刪除mysql.user 裏面全部多餘的用戶 只剩一個管理員
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush  privileges；
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
10.啓動服務
server端 node01
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
agent  node01  node02  node03
 /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent  restart

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.