CDH簡易離線部署文檔

時間 2019-11-13

標籤 cdh 簡易離線部署文檔简体版

原文原文鏈接

CDH 離線簡易部署文檔java

文檔說明

本文爲開發部署文檔，生產環境需作相應調整。mysql

如下操做盡可能在root用戶下操做，避免權限問題。linux

系統環境

系統版本	主機名	主機ip	用戶名密碼	說明
Centos6.5	bigdata01	10.62.8.1	Root:rootroot	安裝主節點，主節點，
Centos6.5	bigdata02	10.62.8.2	Root:rootroot	從節點
Centos6.5	bigdata03	10.62.8.3	Root:rootroot	從節點
Centos6.5	bigdata04	10.62.8.4	Root:rootroot	從節點

初始準備：

java下載和更新

爲了不java版本太低致使的相關問題，首先將每一個節點java版本更新至1.8。

#查看已經安裝版本

rpm -qa | grep jdk

java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64

java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

#卸載已經安裝版本

yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64

yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

#安裝最新版本

rpm -ivh jdk-8u101-linux-x64.rpm

#查看最新安裝版本

java –version

Java(TM) SE Runtime Environment (build 1.8.0_101-b13)

Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

修改主機名與主機名解析

爲了方便配置各節點，將主機名設置成特定格式，方便記憶。每一個節點對應修改

#設定主機名與網卡啓動

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata01

#主機名和IP解析

vim /etc/hosts

127.0.0.1 localhost. bigdata01

10.62.8.2 bigdata02

10.62.8.4 bigdata03

10.62.8.4 bigdata04

selinux關閉

# 每一個節點經過配置文件永久關閉selinux，重啓生效

vim /etc/sysconfig/selinux

SELINUX=disabled

# 查看selinux狀態

sestatus –v

SELinux status: disabled

防火牆關閉

# 每一個節點關閉防火牆（或者設置對應的策略可以讓各節點互相通訊）

service iptables stop #臨時關閉

chkconfig iptables off #開機關閉

service iptables status #查看狀態

NTP服務器設置

# 每一個節點開啓NTP 服務，統一各節點時間。

vim /etc/ntp.conf

server 10.62.8.1 iburst #離線狀況下節點指向主節點

service ntpd restart

# 檢查

service ntpd status

date

SSH無密碼登陸配置

# 主節點生成ssh公鑰

ssh-keygen -t rsa （一直回車）

ssh-copy-id bigdata02 （對應節點）

# 檢查在主節點上可否免密登陸各節點

ssh bigdata02

# 若是不能免密登陸，查看 /var/log/security, 通常爲ssh文件的權限問題

安裝mysql

# 安裝在主節點上，用於存放cloudera manager 配置文件，若是已有便可不用安裝。

tar -xvf MySQL-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle.tar

rpm -ivh MySQL-*.rpm

cp /usr/share/mysql/my-default.cnf /etc/my.cnf

vim /etc/my.cnf

[mysqld]

default-storage-engine = innodb

innodb_file_per_table

collation-server = utf8_general_ci

init-connect = 'SET NAMES utf8'

character-set-server = utf8

#初始化mysql

/usr/bin/mysql_install_db

# 開啓mysql

service mysql restart

ERROR! MySQL server PID file could not be found!

Starting MySQL... SUCCESS!

# 查看mysql root初始化密碼

cat /root/.mysql_secret

The random password set for the root user at Fri Sep 16 11:13:25 2016 (local time): 9mp7uYFmgt6drdq3

#登陸mysql並修改密碼

mysql -u root –p

mysql> SET PASSWORD=PASSWORD('root12345678');

# 容許mysql遠程訪問

mysql> update user set host='%' where user='root' and host='localhost';

Query OK, 1 row affected (0.05 sec)

Rows matched: 1 Changed: 1 Warnings: 0

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

# 建立集羣對應數據庫

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;