ubuntu 14.04下spark簡易安裝

java安裝

首先須要上oracle的網站下載

在lib目錄下創建一個jvm文件夾

 
 
 
 
 

  
  
  
  
  

 
 
 
 
 
sudo mkdir /usr/lib/jvm

而後解壓文件到這個文件夾

 
 
 
 
 

  
  
  
  
  

 
 
 
 
 
sudo tar zxvf jdk-8u40-linux-i586.tar.gz -C /usr/lib/jvm

進入解壓文件夾

 
 
 
 
 

  
  
  
  
  

 
 
 
 
 
cd /usr/lib/jvm

而後爲了方便改個名字
sudo mv jdk1.8.0_40 java

打開配置文件

 
 
 
 
 

  
  
  
  
  

 
 
 
 
 
sudo gedit ~/.bashrc

加入如下設置

 
 
 
 
 

  
  
  
  
  

  
  
  
  
  

  
  
  
  
  

  
  
  
  
  

 
 
 
 
 
export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=${JAVA_HOME}/jre      export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib      export PATH=${JAVA_HOME}/bin:$PATH 

使之生效：

 
 
 
 
 

  
  
  
  
  

 
 
 
 
 
source ~/.bashrc 

完成

安裝spark

下載prebuild的spark安裝包

解壓

 
 
 
 
 

  
  
  
  
  

 
 
 
 
 
tar -xzf spark-1.2.0-bin-hadoop2.4.tgz

而後其實這個時候spark的python模式就能夠使用了。只要cd進去運行bin目錄下的pyspark就能夠了。可是咱們下面要作的就是連接和選擇一個好些的位置存放文件

連接

先把文件歲半換個地方放

 
 
 
 
 

  
  
  
  
  

 
 
 
 
 
sudo mv spark-1.2.1-bin-hadoop2.4 /srv/

而後設個連接

 
 
 
 
 

  
  
  
  
  

 
 
 
 
 
sudo ln -s /srv/spark-1.2.1-bin-hadoop2.4/ /srv/spark

再修改下~/.bash_profile就能夠了

 
 
 
 
 

  
  
  
  
  

  
  
  
  
  

 
 
 
 
 
export SPARK_HOME=/srv/sparkexport PATH=$SPARK_HOME/bin:$PATH

完成

命令行直接執行pyspark

來自爲知筆記(Wiz)