CentOS7安裝CDH 第十章：CDH中安裝Spark2

相關文章連接

CentOS7安裝CDH 第一章：CentOS7系統安裝

CentOS7安裝CDH 第二章：CentOS7各個軟件安裝和啓動

CentOS7安裝CDH 第三章：CDH中的問題和解決方法

CentOS7安裝CDH 第四章：CDH的版本選擇和安裝方式

CentOS7安裝CDH 第五章：CDH的安裝和部署-CDH5.7.0

CentOS7安裝CDH 第六章：CDH的管理-CDH5.12

CentOS7安裝CDH 第七章：CDH集羣Hadoop的HA配置

CentOS7安裝CDH 第八章：CDH中對服務和機器的添加與刪除操做

CentOS7安裝CDH 第九章：CDH中安裝Kafka

CentOS7安裝CDH 第十章：CDH中安裝Spark2

CentOS7安裝CDH 第十一章：離線升級CDH版本

CentOS7安裝CDH 第十二章：YARN的資源調優

CentOS7安裝CDH 第十三章：CDH資源池配置

CentOS7安裝CDH 第十四章：CDH的優化

1. CDH官網Spark2的安裝教程網址

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

2. 下載對應的Spark2版本

1．查看CDH和Spark的對應版本列表（點擊上述圖片2中的地址便可跳轉），在這裏選擇安裝Spark的2.2和cloudera1版本，請注意，當前面選擇cloudera1.jar時，後面對應的Parcel包也要選擇cloudera1，否則會出錯，特別是在版本升級方面，要格外注意，不要後面的Parcel包升級了，前面的cloudera.jar包就沒升，會出問題：

查看網址：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html#packaging

2．下載Spark2對應的Parcel包（以Spark2.2和cloudera1舉例）：

下載網址：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/

3. 安裝Spark2服務到CDH中

一、Spark2服務對其餘服務有版本依賴要求：

查看網址：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html#cm_versions

二、給集羣上全部節點的機器安裝Scala2.11版本：

a) 執行以下命令，在全部機器上建立目錄：

　　mkdir -p /opt/software

b) 將scala-2.11.8.tgz包上傳到全部機器上：

　　

c) 執行以下命令，解壓全部機器上的scala包：

　　tar -zxvf scala-2.11.8.tgz

d) 執行以下命令，配置好Scala的環境變量，當能查看到版本時便可：

　　echo "export SCALA_HOME=/opt/software/scala-2.11.8" >> /etc/profile

　　echo "export PATH=$SCALA_HOME/bin:$PATH" >> /etc/profile

　　source /etc/profile

　　

三、將下載好的jar包和Parcel包上傳到一臺機器上，並配置好https：

四、使用下載好的jar包，給CDH上添加服務中加入一個添加Spark2的按鈕：

a) 將下載好的jar包複製到CDH默認的csd目錄下，並賦予好權限：

　　

　　

b) 重啓CDH的server服務：service cloudera-scm-server restart

c) 進入到CDH的web界面，刷新界面，從新更新配置文件，重啓CMS：

　　

d) 此時點擊cluster的添加服務，能看到Spark2的服務了：

　　

五、配置Parcel，將Spark2的離線地址添加到Parcel的URL中：

a) 由於重啓CDH的server服務，因此有不少默認的URL，將這些刪除：

　　

b) 將Spark2的離線地址添加進入：

　　

六、對Spark2進行下載，分配，解壓，激活：

　　

七、安裝Spark2服務：

a) 點擊cluster的添加服務，添加spark2服務：

　　

b) 由於安裝了其餘服務，Spark是一個內存計算服務，因此能夠依賴其餘服務，能夠選擇多服務的那一組，以下圖：

　　

c) 給Spark中的服務選擇主機（history選一臺，Gateway全部主機都要選）：

　　

d) 對Spark2服務進行審覈更改，清空配置便可：

　　

e) 對Spark2進行安裝：

　　

f) 完成安裝：