spark單一部署版

再記錄一下spark的單機版部署
最後能夠跑通spark自帶的例子，不過可能有些參數還須要調整
假設你已經部署好了hadoop
首先下載scala和spark

scala: http://www.scala-lang.org/download/
spark: http://spark.apache.org/downloads.html

而後先要安裝scala:

scale的安裝很簡單，解壓後，配置一下環境變量就能夠直接使用
修改/etc/profile
export SCALA_HOME=/usr/lib/scala-2.9.3
export PATH=$PATH:$SCALA_HOME/bin

測試：
  source /etc/profile
  scala -version

安裝好以後再安裝spark，也是無需安裝，關鍵是配置：

修改/etc/profile
export SPARK_EXAMPLES_JAR=${SPARK_HOME}/lib/spark-examples-1.3.1-hadoop2.6.0.jar
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:${SPARK_HOME}/bin

修改spark-env.sh
cp spark-env.sh.template spark-env.sh
添加以下內容：
    export SPARK_LAUNCH_WITH_SCALA=0
    export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib
    export SCALA_LIBRARY_PATH=${SPARK_HOME}/lib
    export SPARK_MASTER_WEBUI_PORT=18080
    export SPARK_MASTER_IP=localhost#須要配置一下，並且要跟spark-env.sh一致
    export SPARK_MASTER_PORT=7077
    export SPARK_WORKER_PORT=7078
    export SPARK_WORKER_WEBUI_PORT=18081
    export SPARK_WORKER_DIR=${SPARK_HOME}/work
    export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
    export SPARK_LOCAL_IP=2.2.2.2
    export SPARK_LOCAL_DIRS=${SPARK_HOME}/data

修改spark-defaults.conf
cp spark-defaults.conf.template spark-defaults.conf

    spark.eventLog.dir=/user/spark/applicationHistory
    spark.eventLog.enabled=true
    spark.master=spark://localhost:7077
    spark.eventLog.dir=/user/spark/applicationHistory
    spark.eventLog.enabled=true
    spark.yarn.historyServer.address=http://localhost:19888

都改好以後能夠試試啓動spark服務

${SPARK_HOME}/sbin/start-master.sh
${SPARK_HOME}/sbin/start-slaves.sh

若是不能啓動的話，多是spark-class有些配置沒弄好

正常啓動後運行
    ${SPARK_HOME}/bin/run-example SparkPi 10
會輸出
    Pi is roughly 3.14366

這裏講的都是基本的spark配置和例子的運行，接下來會使用更多的例子測試