本文將介紹Apache Spark 1.6.0在單機的部署，與在集羣中部署的步驟基本一致，只是少了一些master和slave文件的配置。直接安裝scala與Spark就能夠在單機使用，但若是用到hdfs系統的話hadoop和jdk也要配置，建議所有安裝配置好。
個人博客原文地址連接：http://blog.tomgou.xyz/spark-160-dan-ji-an-zhuang-pei-zhi.htmlhtml
0.Spark的安裝準備
Spark官網的文檔 http://spark.apache.org/docs/latest/ 裏是這樣說的：java
Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).node
個人電腦環境是Ubuntu 14.04.4 LTS，還須要安裝：linux
-
hadoop-2.6.0.tar.gzshell
-
scala-2.10.6.tgzapache
1.安裝jdk
解壓jdk安裝包到任意目錄：segmentfault
cd /home/tom
$ tar -xzvf jdk-8u73-linux-x64.tar.gz $ sudo vim /etc/profile
編輯/etc/profile文件，在最後加上java環境變量：瀏覽器
export JAVA_HOME=/home/tom/jdk1.8.0_73/ export JRE_HOME=/home/tom/jdk1.8.0_73/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
保存並更新/etc/profile：
$ source /etc/profil
查看是否成功：
$ java -version
2.配置ssh localhost
確保安裝好ssh：
$ sudo apt-get update $ sudo apt-get install openssh-server $ sudo /etc/init.d/ssh start
生成並添加密鑰：
$ ssh-keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
若是已經生成過密鑰，只需執行後兩行命令。
測試ssh localhost
$ ssh localhost $ exit
3.安裝hadoop2.6.0
解壓hadoop2.6.0到任意目錄：
$ cd /home/tom $ wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz $ tar -xzvf hadoop-2.6.0.tar.gz
編輯/etc/profile文件，在最後加上java環境變量：
export HADOOP_HOME=/home/tom/hadoop-2.6.0 export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
編輯$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件
$ vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在最後加上：
export JAVA_HOME=/home/mi/jdk1.8.0_73/
修改Configuration文件：
$ cd $HADOOP_HOME/etc/hadoop
修改core-site.xml：
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
修改hdfs-site.xml：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:///home/mi/hadoopdata/hdfs/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>file:///home/mi/hadoopdata/hdfs/datanode</value> </property> </configuration>
第一個是dfs的備份數目，單機用1份就行，後面兩個是namenode和datanode的目錄。
修改mapred-site.xml：
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
修改yarn-site.xml：
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
初始化hadoop：
$ hdfs namenode -format
啓動
$ $HADOOP_HOME/sbin/start-all.sh
中止
$ $HADOOP_HOME/sbin/stop-all.sh
檢查WebUI，瀏覽器打開端口：http://localhost:8088
-
port 8088: cluster and all applications
-
port 50070: Hadoop NameNode
-
port 50090: Secondary NameNode
-
port 50075: DataNode
hadoop運行後可以使用jps命令查看,獲得結果：
10057 Jps 9611 ResourceManager 9451 SecondaryNameNode 9260 DataNode 9102 NameNode 9743 NodeManager
4.安裝scala
解壓scala安裝包到任意目錄：
$ cd /home/tom $ tar -xzvf scala-2.10.6.tgz $ sudo vim /etc/profile
在/etc/profile文件的末尾添加環境變量：
export SCALA_HOME=/home/tom//scala-2.10.6 export PATH=$SCALA_HOME/bin:$PATH
保存並更新/etc/profile：
$ source /etc/profil
查看是否成功：
$ scala -version
5.安裝Spark
解壓spark安裝包到任意目錄：
$ cd /home/tom $ tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz $ mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0 $ sudo vim /etc/profile
在/etc/profile文件的末尾添加環境變量：
export SPARK_HOME=/home/tom/spark-1.6.0 export PATH=$SPARK_HOME/bin:$PATH
保存並更新/etc/profile：
$ source /etc/profil
在conf目錄下複製並重命名spark-env.sh.template爲spark-env.sh：
$ cp spark-env.sh.template spark-env.sh $ vim spark-env.sh
在spark-env.sh中添加：
export JAVA_HOME=/home/tom/jdk1.8.0_73/ export SCALA_HOME=/home/tom//scala-2.10.6 export SPARK_MASTER_IP=localhost export SPARK_WORKER_MEMORY=4G
啓動
$ $SPARK_HOME/sbin/start-all.sh
中止
$ $SPARK_HOME/sbin/stop-all.sh
測試Spark是否安裝成功：
$ $SPARK_HOME/bin/run-example SparkPi
獲得結果：
Pi is roughly 3.14716
檢查WebUI，瀏覽器打開端口：http://localhost:8080
原文連接：https://segmentfault.com/a/1190000004508993