CDH5.11 離線安裝或者升級spark2.x詳細步驟

點擊上方藍色字體，選擇「設爲星標」

回覆」資源「獲取更多驚喜

大數據技術與架構

點擊右側關注，大數據開發領域最強公衆號！

暴走大數據

點擊右側關注，暴走大數據！

簡介：

在我CDH5.11集羣中，默認安裝的spark是1.6版本，這裏需要將其升級爲spark2.x版本。經查閱官方文檔，發現spark1.6和2.x是可以並行安裝的，也就是說可以不用刪除默認的1.6版本，可以直接安裝2.x版本，它們各自用的端口也是不一樣的。我嘗試了安裝spark2.0版本和spark2.1版本，均告成功。這裏做一下安裝spark2.1版本的步驟記錄。

首先貼出一些官方的網址，有興趣的可以去看看：

Cloudera發佈Apache Spark 2概述(可以在這裏面找到安裝方法和parcel包的倉庫，不過待會我會給出地址和安裝方法)：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

Cloudera Manager及5.11版本的介紹：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html#cmug_topic_7_11_5__p_sd4_bzx_bm

一、安裝準備

所需軟件

①csd包：http://archive.cloudera.com/spark2/csd/

②parcel包：http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/

注意，下載對應版本的包，我的CentOS7，所以下載el7的包，若是CentOS6，就要下el6的包。

特別注意，如果你安裝spark2.1，按照上面下載就是了，注意一下操作系統的版本；如果你不打算安裝spark2.1，想安裝其他版本，比如2.0，那麼一定要注意下面的事項：

如果你仔細瀏覽過這些路徑，會發現下圖中，csd和parcel包會有.clouderal1和.clouderal2之分，和2.0與2.1版本之分，那麼在下載parcel時也要注意，下載對應的包。即如果下載到的是.clouderal1的csd包，下載parcel包也要下載文件名中是.clouderal1的包，不能下載.clouderal2的包，同時csd2.0的包也不能用於parcel2.1的包，不然很可能安不上。

csd包所在的目錄：

parcel包所在的目錄

二、開始安裝

1.安裝前可以停掉集羣和Cloudera Management Service，也可以不停，但是待會還是要停止重啓的。

2.下面的操作在每個CDH節點都要進行。

3.上傳CSD包到機器的/opt/cloudera/csd目錄，並且修改文件的用戶和組。注意如果本目錄下有其他的jar包，把刪掉或者移到其他目錄

[[email protected] csd]# chgrp cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar

[[email protected] csd]# ls -la

total 16

drwxr-xr-x 2 cloudera-scm cloudera-scm    47 Jun 23 16:11 .

drwxr-xr-x 6 cloudera-scm cloudera-scm    67 May  1 17:46 ..

-rw-r--r-- 1 root         cloudera-scm 16109 Jun 23 16:04 SPARK2_ON_YARN-2.1.0.cloudera1.jar

[[email protected] csd]# chown cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar

[[email protected] csd]# ls -la

total 16

drwxr-xr-x 2 cloudera-scm cloudera-scm    47 Jun 23 16:11 .

drwxr-xr-x 6 cloudera-scm cloudera-scm    67 May  1 17:46 ..

-rw-r--r-- 1 cloudera-scm cloudera-scm 16109 Jun 23 16:04 SPARK2_ON_YARN-2.1.0.cloudera1.jar

[[email protected] csd]#

4.上傳parcel包到機器的/opt/cloudera/parcel-repo目錄***意，。如果有其他的安裝包，不用刪除 ，但是如果本目錄下有其他的重名文件比如manifest.json文件，把它重命名備份掉。然後把那3個parcel包的文件放在這裏。

5.如果剛剛沒有停掉CM和集羣，現在將他們停掉。然後運行命令。

service cloudera-scm-agent restart

service cloudera-scm-server restart

這兩個命令，只需要在CM server節點運行，並且按照官方來說只用運行第二個命令，但因爲我安裝失敗過幾次，這裏都運行了，並且如果你安裝失敗，這裏也可以兩個命令都運行，並且如果多次失敗，還可以嘗試在所有CDH節點都運行一下，我是這麼做了的

6.把CM和集羣啓動起來。然後點擊主機->Parcel頁面，看是否多了個spark2的選項。如下圖，你這裏此時應該是分配按鈕，點擊，等待操作完成後，點擊**按鈕

7.**後，點擊你的羣集-》添加服務，添加spark2服務。注意，如果你這裏看不到spark2服務，就請檢查你的CSD包和parcel包是否對應，上面的步驟是否有漏掉。正常情況下，應該是能用了。我的集羣到此已經OK，來張圖紀念一下吧，不容易啊，網上資料太少了。

版權聲明：

本文爲《暴走大數據》整理，原作者獨家授權。未經原作者允許轉載追究侵權責任。

編輯｜冷眼丶

微信公衆號｜暴走大數據

歡迎點贊+收藏

歡迎轉發至朋友圈

文章不錯？點個【在看】吧！ ????