linux集羣spark環境配置

第一章 linux集羣spark環境配置
一 Spark下載
地址; http://spark.apache.org/downloads.html

圖1 下載spark

圖2 選擇下載地址

Spark自己用scala寫的，運行在JVM之上。
JAVA版本:java 6 /higher edition.
Jdk已經安裝（版本）

Hadoop提供存儲數據的持久化層
版本：hadoop-1.2.1
Spark和scala須要安裝在master和slave上面，配置步驟相同
本次搭建的master爲cluster，slaves爲compute-0-1和compute-0-2
Master爲主節點，slaves爲從節點構成分佈式結構
二 Spark環境搭建步驟：
1.最高權限登陸master主機，解壓spark，解壓scala
2.修改/etc/profile文件，設置環境變量。

Source命令使其生效
進入spark文件夾，
    執行如下命令複製：
cp slaves.template slaves
cp spark-env.sh.template spark-env.sh
執行如下命令修改：
vi slaves
添加節點:

vi spark-env.sh
添加master主機IP以及分配內存設置環境變量，內存大體爲全部內存的75%

三 檢查
1.scala
命令行 scala 出現以下圖所示即爲正常

輸入 「 :quit」退出
2.spark
命令行 spark-shell出現以下圖所示即爲正常

輸入 「 :quit」退出
四 啓動與中止
進入spark文件夾，命令行 .(點)/sbin/start-all.sh便可開啓
./sbin/stop-all.sh便可中止
五 webUI畫面
瀏覽器輸入：http://192.168.2.201:8080/便可打開以下畫面，可查看基本配置信息





出現問題總結：
1. 權限問題，出現permission denied，命令行 chmod –r 777 folder 修改權限
2. 複製文件到遠程主機，先su -  獲取最高權限 scp  –r  path computer-0-1:path
Path即爲文件夾所在目錄
3. 環境變量設置過程當中應細心，操做master主機時應當心謹慎防止誤刪錯移
4. windows下XShell5安裝出現不能註冊程序集之類的錯誤提示解決辦法
Regedit打開註冊表編輯器，依次打開localmachine>system>currentcontrolset>control，單擊control找到registry sizelimit 雙擊代開DWORD值對話框，選十六進制 在文本框輸入ffffffff（8個f） 再點擊十進制 再在文本里面輸入4294967295 點肯定，重啓，重啓以後再打開cmd 輸入 SFC/SCANNOW 回車 掃描下系統 須要幾分鐘 等進度100%以後再安裝。