虛擬機Ubutnu安裝hadoop

虛擬機及Ubuntu系統的安裝地址

VMWare下載地址：http://www.itopdog.cn/utilities-operating-systems/virtual-machine/vmware-workstation.html

　　ubuntu 下載：http://mirrors.163.com/ubuntu-releases/或者http://mirrors.sohu.com/ubuntu-releases/

 

系統安裝完成以後，就開始準備hadoop環境了，具體須要的有(默認在Ubuntu中能連接網絡)： vim編輯器、java 環境、hadoop環境。

一、剛安裝完成系統後，root用戶默認是被鎖定的，須要初始化root用戶，不然在接下來的安裝過程當中有些操做沒有權限

   sudo passwd    Password: <--- 輸入安裝時那個用戶的密碼
    Enter new UNIX password:  <--- 新的Root用戶密碼
    Retype new UNIX password:  <--- 重複新的Root用戶密碼
    passwd：已成功更新密碼

二、安裝vim編輯器，vim編輯器系統可能會自帶，先檢查系統是否已安裝，不然安裝VIM

sudo apt-get install vim

三、安裝JAVA環境，須選擇jdk 1.6版本以上環境

    在命令行中輸入javac，系統會自動提示有哪些版本可供安裝。

    sudo apt-get install java-7-openjdk

    等待系統自動下載安裝，安裝完成後，輸入javac，有java的相關信息提示後，表示安裝成功，但此時還須要配置java的環境變量(默認安裝目錄：/usr/lib/jvm):

     ~$ vi /etc/profile

   打開配置文件後，在末尾處添加下述環境設置

   export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
    export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$PATH

  可選操做：講安裝的jdk設置爲系統默認的jdk

sudo update-alternatives --install "/usr/bin/java" "java" "/usr/lib/java/jdk1.6.0_45/bin/java" 300
sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/lib/java/jdk1.6.0_45/bin//javac" 300
sudo update-alternatives --config javasudo update-alternatives --config javac

    輸入~$ source /etc/profile 使更新的配置文件生效，輸入javac -version進行驗證.

 四、安裝hadoop

   建立下hadoop目錄：mkdir /opt/hadoop

   下載hadoop安裝文件包： $ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

  解壓hadoop文件:tar -zxvf hadoop-1.2.1.tar.gz

  進入/opt/hadoop/hadoop-1.2.1/conf，在該目錄下有hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四個文件須要進行配置

    vi hadoop-env.sh  設置JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk
 

   vi /etc/profile  配置hadoop

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export HADOOP_HOME=/usr/hadoop/hadoop-0.20.0
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$PATH 

   vi core-site.xml

<configuration>     
  <property>              
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
  </property>
</configuration>

‍

    vi hdfs-site.xml

<configuration>    
 <property>  
  <name>dfs.replication</name>  
  <value>1</value>    
 </property>
</configuration>

 vi mapred-site.xml

<configuration>    
 <property>  
  <name>mapred.job.tracker</name>  
  <value>localhost:9001</value>    
 </property>
</configuration> 

完成以後輸入命令

    安裝sudo apt-get install ssh

　　ssh localhost

　　若是沒有提示錯誤則安裝成功（默認的.ssh文件夾在  /home/用戶名/   這個路徑下，它是隱藏文件，快捷鍵Ctrl+H能夠顯示隱藏文件），而後須要爲ssh設置免密碼登陸和設置權限，依次輸入下面幾條命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 644 ~/.ssh/authorized_keys

　　完成以後再輸入ssh localhost若是不須要輸入密碼的話則配置ssh免密碼登陸成功。

進入Bin目錄: 

cd /opt/hadoop/hadoop-1.2.1/bin
bin/hadoop namenode -format
start-all.sh

上述操做完成後

輸入jps查看進程，是否包含下述進程，如包含則安裝成功

2184 SecondaryNameNode
2407 TaskTracker
2055 DataNode
2267 JobTracker
1933 NameNode
2468 Jps

輸入：stop-all.sh 中止hadoop