如何運行Spark集羣的Standalone模式

我本身翻譯自Spark的官網：http://spark.apache.org/docs/latest/spark-standalone.html#starting-a-cluster-manually

以前看了不少中文資料，看得雲裏霧裏，還不如直接看官網呢！既權威又簡潔明瞭。

 

Spark集羣有三種運行模式：Standalone、Mesos和YARN模式。

 

如今說Standalone模式。這是最簡單的模式，Spark靠本身就能運行這個模式(不依靠其它集羣管理工具)。

 

方法一：手動運行Standalone模式。

前提：Spark各個文件都不作任何修改。

一、在master機器上運行 ./sbin/start-master/sh

運行完以後，會打印出url: spark://HOST:PORT ，這個就是當前master的Spark URL。

二、在slave機器上運行 ./sbin/start-slave.sh <master-spark-url>

而後在Master的管理界面上查看http://master-ip:8080，查看slave是否已上線。

 

方法二：使用集羣運行腳本運行Standalone模式。

前提：master節點去訪問slave節點須要使用ssh無密碼登陸，所以須要提早配置無密碼登陸。

一、在master的conf文件夾下新增slaves文件。slaves文件裏存放着每個slave節點的hostname，每行一個。

二、在master節點上運行以下腳本便可：

 

• sbin/start-master.sh - 在本機上運行master節點
• sbin/start-slaves.sh - 根據slaves文件在每臺機器上運行slave節點
• sbin/start-slave.sh - 在本機上運行slave節點
• sbin/start-all.sh - 運行全部的master和slave節點
• sbin/stop-master.sh - 關閉本機上運行的master節點
• sbin/stop-slaves.sh - 關閉slaves文件裏設定的每個slave節點
• sbin/stop-all.sh - 關閉全部的master和slave節點

 

完畢。