Spark集羣安裝方式2

    環境: jdk1.八、hadoop-2.七、spark-1.六、三臺centos7(以下List-1所示)

    List-1 以下30上部署master;31上部署worker1;32上部署worker2

192.168.33.30 master
192.168.33.31 worker1
192.168.33.32 worker2

    將jdk1.八、hadoop-2.七、spark-1.6文件夾放到三臺機器的/opt下

    修改spark的conf下的spark-env.sh文件(若是不存在，則cp  spark-env.sh.template   spark-env.sh)，修改成以下List-2，這個修改三臺機器上都要作:

    List-2

export JAVA_HOME=/opt/jdk1.8
export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.7.7/bin/hadoop classpath);

    爲何List-2中須要將hadoop的classpath加入到其中，是由於spark自1.4以後，編譯都是沒有將hadoop的classpath編譯進去的，因此必須在spark-env.sh中指定hadoop中的全部jar包。

    在master機器上，spark安裝目錄，執行以下，以後在控制檯就會打印出一些日誌，從日誌中能夠看到master url和MasterWebUI

    List-3

/bin/spark-class org.apache.spark.deploy.master.Master

    在worker1/worker2，spark安裝目錄，執行以下，以後看MasterWebUI就會看到worker加入進去了

    List-4

/bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.33.30:7077

    到此咱們的集羣啓動完成了。

    接下來介紹另外一種啓動方式：

    在master的spark安裝目錄下，執行以下，查看日誌/opt/spark-mjduan/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out，能夠看到master url和masterWebUrl:

    List-5

[root@master spark-mjduan]# sbin/start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /opt/spark-mjduan/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out

    在workerr1/worker2上，spark安裝目錄，執行以下:

    List-6

[root@node2 spark-mjduan]# sbin/start-slave.sh spark://192.168.33.30:7077
starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-mjduan/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-node2.out

       以後看masterWebUrl，能夠看到集羣信息了。