CDH5.13離線並行安裝Spark2.3

簡介：

在個人CDH5.13集羣中，默認安裝的spark是1.6版本，這裏須要將其升級爲spark2.x版本。經查閱官方文檔，發現spark1.6和2.x是能夠並行安裝的，也就是說能夠不用刪除默認的1.6版本，能夠直接安裝2.x版本，它們各自用的端口也是不同的。這裏作一下安裝spark2.3版本的步驟記錄。

一. 安裝準備

1. csd包：http://archive.cloudera.com/spark2/csd/

 

1. parcel包：http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/

 

注意，下載對應版本的包，個人CentOS7，因此下載el7的包，如果CentOS6，就要下el6的包。

特別注意，若是你安裝spark2.3，按照上面下載就是了，注意一下操做系統的版本；若是你不打算安裝spark2.3，想安裝其餘版本，好比2.0，那麼必定要注意下面的事項：
若是你仔細瀏覽過這些路徑，會發現下圖中，csd和parcel包會有.clouderal1和.clouderal2之分，和2.0與2.1版本之分，那麼在下載parcel時也要注意，下載對應的包。即若是下載到的是.clouderal1的csd包，下載parcel包也要下載文件名中是.clouderal1的包，不能下載.clouderal2的包，同時csd2.0的包也不能用於parcel2.1的包，否則極可能安不上

 

 

 

二. 開始安裝

1.安裝前能夠停掉集羣和Cloudera Management Service

 

中止CDH服務

 

 

中止CM服務

2.下面的操做在每一個CDH節點都要進行。

3.上傳CSD包到機器的/opt/cloudera/csd目錄，而且修改文件的用戶和組。注意若是本目錄下有其餘的jar包，把刪掉或者移到其餘目錄

[root@hadoop1 csd]# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera2.jar 
[root@hadoop1 csd]# ll
-rw-r--r-- 1 cloudera-scm cloudera-scm 19010 May 23 00:30 SPARK2_ON_YARN-2.3.0.cloudera2.jar

 

4.上傳parcel包到機器的/opt/cloudera/parcel-repo目錄下。

注意。若是有其餘的安裝包，不用刪除 。可是若是本目錄下有其餘的重名文件好比manifest.json文件，把它重命名備份掉。而後把那3個parcel包的文件放在這裏。

SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha
manifest.json

 

5.若是剛剛沒有停掉CM和集羣，如今將他們停掉。而後運行命令。

[root@hadoop1 opt]# /opt/cm-5.13.3/etc/init.d/cloudera-scm-server restart
Stopping cloudera-scm-server:                              [  OK  ]
Starting cloudera-scm-server:                              [  OK  ]
[root@hadoop1 opt]# /opt/cm-5.13.3/etc/init.d/cloudera-scm-agent restart
Stopping cloudera-scm-agent:                               [  OK  ]
Starting cloudera-scm-agent:                               [  OK  ]

 

6.把CM和集羣啓動起來。而後點擊主機->Parcel頁面，看是否多了個spark2的選項。以下圖，你這裏此時應該是分配按鈕，點擊，等待操做完成後，點擊激活按鈕

 

7.激活後，點擊你的羣集-》添加服務，添加spark2服務。注意，若是你這裏看不到spark2服務，就請檢查你的CSD包和parcel包是否對應，上面的步驟是否有漏掉。正常狀況下，應該是能用了。

 

 

官方下載安裝說明見：https://www.cloudera.com/downloads/spark2/2-3-r4.html

感謝您下載Apache Spark 2.3，下載說明以下。

安裝或升級由Apache Spark提供支持的CDS

最低要求角色： 羣集管理員  （也由徹底管理員提供）

由Apache Spark提供支持的CDS分爲兩個文件：  自定義服務描述符  文件和一個包，這兩個文件都必須安裝在羣集上。

 

注意：  因爲Apache Spark支持的CDS  和初始  主義CSD之間可能存在混淆  ，所以本文檔中對自定義服務描述符（CSD）文件的引用使用術語  服務描述符。

 

 

安裝由Apache Spark提供支持的CDS

注意：雖然Spark 1和Spark 2能夠在同一個CDH羣集中共存，但您不能在同一個Cloudera Manager實例中同時使用多個Spark 2版本。由同一Cloudera Manager Server管理的全部CDH羣集必須使用與Apache Spark徹底相同的CDS版本。例如，您不能使用內置的CDH Spark服務，CDS 2.1服務和CDS 2.2服務。您必須只選擇一個由Apache Spark版本提供支持的CDS 2。確保同時 在全部羣集的全部計算機上安裝或升級CDS 2  服務描述符和parcel。

CDS 2.2及更高版本僅須要JDK 8。若是您使用的是CD 2.2或更高版本，則必須從全部羣集和網關主機中刪除JDK 7以確保正常運行。

按照如下步驟安裝Apache Spark支持的CDS：

1. 檢查是否知足全部必備軟件。若是沒有，您可能須要先升級或安裝其餘軟件組件。有關 詳細信息，請參閱  Apache Spark要求的CDS。
2. 將Apache Spark服務描述符支持的CDS安裝到Cloudera Manager中。重要提示：因爲Apache Spark支持的CDS只能使用parcel機制進行安裝，所以它只能在Cloudera Manager管理的集羣上使用。此外，因爲Cloudera Manager不支持在同一羣集中使用parcel和包，所以若是您使用的是基於軟件包的CDH安裝，則沒法使用CDS。
   1. 要下載受Apache Spark服務描述符支持的CDS，請在CDS可供下載的版本的版本信息表中  ，單擊要安裝的版本的服務描述符連接。
   2. 登陸到Cloudera Manager Server主機，並在 爲服務描述符文件配置的位置複製由Apache Spark服務描述符提供的CDS  。
   3. 使用權限644將服務描述符的文件全部權設置爲cloudera-scm：cloudera-scm。
   4. 使用如下命令從新啓動Cloudera Manager Server：service cloudera-scm-server restart
3. 在Cloudera Manager Admin Console中，將包含Apache Spark parcel存儲庫的CDS添加   到宗地設置中的遠程宗地存儲庫URL，如宗地  配置設置中所述。注意：若是Cloudera Manager Server沒法訪問Internet，則可使用由Apache Spark parcel文件提供的CDS：將它們放入  新的parcel存儲庫，而後將Cloudera Manager Server配置爲以新建立的存儲庫爲目標。
4. 下載由Apache Spark parcel提供支持的CDS，將parcel分發到羣集中的主機，而後激活該parcel。請參閱  管理地塊。
5. 將Spark 2服務添加  到您的羣集。
   1. 在步驟＃1中，選擇依賴項選項：
      • HDFS，YARN，ZooKeeper：若是您不須要訪問Hive服務，請選擇此選項。
      • HDFS，Hive，YARN，ZooKeeper：Hive是Spark服務的可選依賴項。若是您有Hive服務並但願從Spark應用程序訪問Hive表，請選擇此選項以將Hive包含爲依賴項，並使Hive客戶端配置始終可供Spark應用程序使用。
   2. 在步驟＃2中，爲Apache Spark自定義CDS Powered的角色分配時， 爲每一個主機添加  網關角色。
   3. 請注意，歷史服務器端口是18089而不是一般的18088。
   4. 完成添加Spark 2服務的步驟。
6. 單擊Cloudera Manager徽標返回主頁。
7. 單擊以從新啓動羣集。

升級到由Apache Spark提供支持的CDS 2.3

注意：雖然Spark 1和Spark 2能夠在同一個CDH羣集中共存，但您不能在同一個Cloudera Manager實例中同時使用多個Spark 2版本。由同一Cloudera Manager Server管理的全部CDH羣集必須使用與Apache Spark徹底相同的CDS版本。例如，您不能使用內置的CDH Spark服務，CDS 2.1服務和CDS 2.2服務。您必須只選擇一個由Apache Spark版本提供支持的CDS 2。確保同時 在全部羣集的全部計算機上安裝或升級CDS 2  服務描述符和parcel。

CDS 2.2及更高版本僅須要JDK 8。若是您使用的是CD 2.2或更高版本，則必須從全部羣集和網關主機中刪除JDK 7以確保正常運行。

若是您已經在使用CDS 2.0,2.1或2.2，則如下是升級到由Apache Spark提供支持的CDS 2.3的步驟，同時保留已應用的Spark 2的任何非默認配置：

• 從/ opt / cloudera / csd中刪除舊版本的CDS Powered by Apache Spark的服務描述符JAR。有關 每一個版本對應的JAR文件的名稱，請參閱  Apache Spark版本，打包和下載信息支持的CDS。

• 將CDS 2.3的服務描述符JAR添加到/ opt / cloudera / csd。設置正確的權限和全部權。

• 從新啓動cloudera-scm-server服務。

• 在Cloudera Manager中，取消激活與舊版CDS對應的宗地。

• 在Cloudera Manager中，激活與CDS 2.3對應的包裹。

• 重啓服務並部署客戶端配置。

 

請訪問  Cloudera的Apache Spark頁面  ，瞭解有關在Cloudera Enterprise上運行企業級Apache Spark的更多信息。

 

文檔

• 關於CDS 2.3由Apache Spark提供支持