CDH6.3.0 - Cloudera Enterprise 6 Release Guide 安裝準備篇

1、安裝以前

   Cloudera管理器的存儲空間規劃

　　ClouderaManager跟蹤許多後臺流程中的服務、做業和應用程序的指標。全部這些指標都須要存儲。根據組織的大小，此存儲能夠是本地的或遠程的，基於磁盤的，也能夠是數據庫中的，由您或其餘團隊在另外一個位置管理。

　　大多數系統管理員都知道常見的位置，如/var/log/這些地點須要有足夠的空間。本主題幫助您規劃Cloudera Manager Server和Cloudera Management Service用於存儲度量和數據的存儲需求和數據存儲位置。

　　未能規劃Cloudera Manager Server和Cloudera管理服務的全部組件的存儲需求，會如下列方式對集羣產生負面影響：

• 集羣可能沒法保留歷史操做數據以知足內部需求。
• 集羣可能漏掉未收集或保留所需時間的關鍵審計信息。
• 管理員可能沒法研究過去的事件或健康情況。
• 管理員可能在之後須要引用或報告歷史 MR一、YARN或Impala使用數據時沒有這些數據。
• 在度量收集和圖表方面可能存在空白。
• 因爲將存儲位置填充到100%的容量，羣集可能會出現數據丟失。這種事件的影響可能會影響到許多其餘組成部分。

 

　配置網絡名稱

　　首先，CDH須要IPv 4，不支持IPv 6。

　　一、將主機名設置爲惟一名稱，不是localhost

sudo hostnamectl set-hostname foo-1.example.com

 

　　二、編輯/etc/hosts具備集羣中每一個主機的IP地址和徹底限定域名(FQDN)。您也能夠添加非限定名。

1.1.1.1  foo-1.example.com  foo-1 
2.2.2.2  foo-2.example.com  foo-2 
3.3.3.3  foo-3.example.com  foo-3 
4.4.4.4  foo-4.example.com  foo-4

        注意：

•  每一個主機的規範名稱。/etc/hosts 必是FQDN(例如myhost-1.example.com)，而不是不合格的主機名(例如myhost-1)。
• 不要使用別名，也不要在/etc/hosts或者配置DNS。
• 在ClouderaManager實例中，非限定主機名(短名稱)必須是惟一的。例如host01.example.com和host01.Standby.example.com由同一個             ClouderaManagerServer管理。

      三、編輯/etc/sysconfig/Network僅用於此主機的FQDN：

HOSTNAME=foo-1.example.com

 

　　四、驗證每一個主機是否一致地標識到網絡：

•  運行uname -a並檢查主機名是否與主機名命令相同。
• 運行/sbin/ifconfig並注意到inet addr在eth0(或bond0)條目，例如：

eth0      Link encap:Ethernet  HWaddr 00:0C:29:A4:E8:97             
inet addr:172.29.82.176  Bcast:172.29.87.255  Mask:255.255.248.0 
...

• 運行host -v -t A $(hostname)並驗證輸出是否與主機名命令相同。 IP地址應與ifconfig爲eth0(或bond0):

Trying "foo-1.example.com"
...
;; ANSWER SECTION:
foo-1.example.com. 60 IN
A
172.29.82.176

 

　禁用防火牆

 　　若要在羣集中的每一個主機上禁用防火牆，請在每一個主機上執行如下步驟：

　　一、爲iptables，保存現有規則集：

sudo iptables-save > ~/firewall.rules

　　二、禁用防火牆(RHEL 7兼容)：

sudo systemctl disable firewalld
sudo systemctl stop firewalld

 

     設置SELinux模式

 　　安全加強的linux(SELinux)容許您經過策略設置訪問控制。若是您在使用策略部署CDH時遇到問題，請在每一個主機上設置SELinux，而後在集羣上部署CDH。  若要設置SELinux模式，請在每一個主機上執行如下步驟:

　　一、檢查SELinux狀態：

getenforce

　　二、若是輸出是Permissive 或者 Disabled，您能夠跳過此任務並繼續執行禁用防火牆..若是輸出是(enforcing)強制執行，繼續下一步。

　　三、打開/etc/selinux/config文件(在某些系統中，/etc/sysconfig/selinux文件)。

　　四、將SELINUX=enforcing改成SELINUX=permissive.

　　五、保存並關閉文件。

　　六、從新啓動系統或運行如下命令當即禁用SELinux：

setenforce 0

　　安裝和部署cdh以後，能夠經過更改SELINUX=permissive回到SELINUX=enforcing  。在……裏面/etc/selinux/config(或/etc/sysconfig/selinux)，而後運行如下命令當即切換到強制執行模式：

setenforce 1

 

     啓用NTP服務

　　　　CDH要求您配置網絡時間協議(NTP)集羣中每臺機器上的服務。大多數操做系統包括ntpd用於時間同步的服務。使用ntpd對於時間同步：

　　一、安裝NTP

yum install ntp

 

　　二、編輯/etc/ntp.conf文件以添加NTP服務器，以下面的示例所示。

server 0.pool.ntp.org 
server 1.pool.ntp.org 
server 2.pool.ntp.org

 

　　三、啓動ntpd服務(RHEL 7兼容)：

sudo systemctl start ntpd

 

　　四、配置ntpd在引導時運行的服務(RHEL 7兼容)：

sudo systemctl enable ntpd

 

　　五、將系統時鐘同步到NTP服務器：

ntpdate -u <ntp_server>

 

　　六、將硬件時鐘與系統時鐘同步：

hwclock --systohc

 

 

    在Hue主機上安裝Python2.7(RHEL 6版本安裝)

　　這裏以CentOS 6.x爲例，以下操做：

　　一、啓用軟件收藏庫：

sudo yum install centos-release-scl

 

　　二、安裝軟件集合實用程序：

sudo yum install scl-utils

 

　　三、安裝Python 2.7：

sudo yum install python27

 

　　四、驗證是否安裝了Python2.7：

source /opt/rh/python27/enable
python --version

 

  Impala Requirements（略）

  基於包的cdh安裝所需的特權（略）