018-CDH6.2構建本地源加速CDH安裝

目前國內尚未機構或者我的提供CDH的公共加速源，致使CDH安裝時超慢，而且一旦失敗後，還得不支持斷點安裝(linux機制)，配置CDH本地repo是學習cdh的第一步，不然單是安裝就須要以小時爲單位。

本文以centos7.6爲例（其他發行版相似），介紹CDH 自定義 parcel和package 鏡像源（parcel是cdh自定義格式）

建立內網repo

配置web服務器

能夠用apache2，也能夠用nginx，任何提供http服務的均可以

$ sudo apt-get install -y httpd
$ sudo systemctl start httpd
$ sudo systemctl enable httpd
複製代碼

下載packages

這是給centos安裝cm6用的

$ sudo mkdir -p /var/www/html/cloudera-repos
$ sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cm6/6.2.0/redhat7/ -P /var/www/html/cloudera-repos
$ sudo wget https://archive.cloudera.com/cm6/6.2.0/allkeys.asc -P /var/www/html/cloudera-repos/cm6/6.2.0/
$ sudo chmod -R ugo+rX /var/www/html/cloudera-repos/cm6
複製代碼

下載和發佈parcel repo

1. 下載 manifest.json 和parcel 文件
   CDH6

CDH 6 parcel中包含 Apache Impala, Apache Kudu, Apache Spark 2, and Cloudera Search等組件，以6.2.0爲例，在web服務器上運行下面指令，用來下載最新版的cdh 6.2，若是要換成cdh6.x的其餘版本，只須要替換命令中的 6.2.0 便可。更多6.x版本信息參見 CDH 6 Download Information 。

$ sudo mkdir -p /var/www/html/cloudera-repos
$ sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.2.0/parcels/ -P /var/www/html/cloudera-repos
$ sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/gplextras6/6.2.0/parcels/ -P /var/www/html/cloudera-repos
$ sudo chmod -R ugo+rX /var/www/html/cloudera-repos/cdh6
$ sudo chmod -R ugo+rX /var/www/html/cloudera-repos/gplextras6
複製代碼

CDH5 
CDH 5 parcel中包含 Impala, Kudu, Spark 1, and Search 等組件，以5.14.4爲例，在web服務器上運行如下指令，若是要換成cdh5.x的其餘版本,須要替換命令中的 5.14.4 爲指定版本號，更多5.x版本信息參見 CDH Download Information

$ sudo mkdir -p /var/www/html/cloudera-repos
$ sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh5/parcels/5.14.4/ -P /var/www/html/cloudera-repos
$ sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/gplextras5/parcels/5.14.4/ -P /var/www/html/cloudera-repos
$ sudo chmod -R ugo+rX /var/www/html/cloudera-repos/cdh5
$ sudo chmod -R ugo+rX /var/www/html/cloudera-repos/gplextras5
複製代碼

若是像本文實例同樣，只需支持單一版本（centos7.6）cdh便可，爲了節省時間，能夠只下載具體版本。
以CDH6的爲例，增長 --accept-regex "el7|manifest" ,表明只下載包含xenial和maifest的文件

# 官方命令
sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.2.0/parcels/ -P /var/www/html/cloudera-repos
# 改後命令
sudo wget --recursive --no-parent --accept-regex "el7|manifest" --no-host-directories https://archive.cloudera.com/cdh6/6.2.0/parcels/ -P /var/www/html/cloudera-repos
複製代碼

若是想再快點，可使用迅雷，axel，aria2等多線程工具快速下載後，上傳到web服務器。
      Apache Accumulo for CDH 
如下載Accumulo1.7.2爲例,若是換成別的版本，替換命令中1.7.2便可

$ sudo mkdir -p /var/www/html/cloudera-repos
$ sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/accumulo-c5/parcels/1.7.2/ -P /var/www/html/cloudera-repos
$ sudo chmod -R ugo+rX /var/www/html/cloudera-repos/accumulo-c5
複製代碼

CDS Powered By Apache Spark 2 for CDH 
如下載CDS2.3.0.cloudera3爲例,更多版本信息參見  CDS Powered By Apache Spark Version Information

$ sudo mkdir -p /var/www/html/cloudera-repos
$ sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/ -P /var/www/html/cloudera-repos
$ sudo chmod -R ugo+rX /var/www/html/cloudera-repos/spark2
複製代碼

Cloudera Navigator Key Trustee Server 
 Key Trustee KMS parcel中包含  Cloudera Navigator HSM KMS ，從 download page 下載Key Trustee KMS，選擇指定Version，好比 Navigator Key Trustee KMS 6.2.0 ,選擇Package or Parcel,選擇 Parcel ,選擇 DOWNLOAD NOW ,將下載Key Trustee KMS parcels 和 manifest.json ，將下載的 .tar.gz 上傳到web服務器上，並解壓，以Key Trustee KMS 6.2.0爲例

$ sudo mkdir -p /var/www/html/cloudera-repos/keytrustee-kms
$ sudo tar xvfz /path/to/keytrustee-kms-6.2.0-parcels.tar.gz -C /var/www/html/cloudera-repos/keytrustee-kms --strip-components=1
$ sudo chmod -R ugo+rX /var/www/html/cloudera-repos/keytrustee-kms
複製代碼

Sqoop Connectors 
如下載最新版Sqoop爲例

$ sudo mkdir -p /var/www/html/cloudera-repos
$ sudo wget --recursive --no-parent --no-host-directories http://archive.cloudera.com/sqoop-connectors/parcels/latest/ -P /var/www/html/cloudera-repos
$ sudo chmod -R ugo+rX /var/www/html/cloudera-repos/sqoop-connectors
複製代碼

2. 訪問repo地址 http://<Web_server>/cloudera-repos/ 確保你下載的文件可以正常訪問。

配置Cloudera Manager 使用Parcel repo

1. 兩種方法二選一，配置parcel
2. Navigation bar - 導航條
3. 點擊navigation bar 的parcel圖標或者點擊 Hosts 而後點擊 Parcels 標籤
4. 點擊 Configuration 按鈕
5. Menu - 菜單
6. 選擇 Administration (管理) -> Settings (設置)
7. 選擇 Category  > Parcels
8. 在 Remote Pacel Respository URLs 點擊添加按鈕，並添加。
9. 填上parcel地址，好比  http://<web_server>/cloudera-parcels/cdh6/6.2.0/
10. 填寫 Reason for change  變動緣由,點擊 Save Changes 提交保存。

國內鏡像源

本文寫完後，發現中科大有一個CDH的反代，速度還挺快，能夠按需使用。參考 ustclug/mirrorrequest#56 ，經測試，特別不穩定，持續兩天，訪問不通。

參考資料

• Configuring a Local Package Repository
• Configuring a Local Parcel Repository