Hadoop入門-單機僞分佈式配置

爲了配置的的方便建議先提高你的登陸用戶權限，本配置中凡是要在終端中輸入的命令都用紅色字體，需注意對應的目錄用了色字體標出。

啓用超級用戶sudo passwd root（而後輸入你的超級用戶密碼）之後在終端中輸入su，再輸入該密碼就能夠 用超級用戶登陸了

提高用戶權限命令，在終端中輸入sudo gedit /etc/passwd

在文件末尾找到你的登陸用戶：個人是szllong:x:1000:1000:szllong,,,:/home/szllong:/bin/bash將其中的兩個1000改成0保存並退出，重啓電腦輸入你的用戶名和密碼（個人用戶名就是szllong，這裏可能會習慣性的直接輸入密碼需注意）。

因爲root登陸有助多不變，建議配置完成後，再將你的權限改回來。

接下來就能夠正式安裝了。

1、安裝基礎工具

ssh

ubuntu默認並無安裝ssh服務，若是經過ssh連接ubuntu，須要本身手動安裝ssh-server。判斷是否安裝ssh服務，能夠經過以下命令進行：ssh localhost

如上沒出現 ssh: connect to host localhost port 22: Connection refused，表示沒有尚未安裝，能夠經過apt安裝，共三個，命令以下：

apt-get install ssh

apt-get install openssh-server  

sudo apt-get install rsync

不少介紹裏會在前面加入sudo，這是爲了要得到root權限，這是可能還要輸入你的用戶密碼，下同

2、安裝JDK

下載源碼包jdk-7u4-linux-i586.tar.gz

(jdk版本能夠根據須要本身下載最新版本，但在接下來環境配置時記得要改成相應版本)
將之放到目錄：/usr/lib/jvm下

（這裏位置目錄能夠本身定義，JDK環境變量須要對應）
進入該目錄直接解壓：tar zxvf jdk-7u4-linux-x64.tar.gz

3、安裝hadoop-1.0.3.tar.gz，到hadoop官網下載hadoop-1.0.3.tar.gz

（此時hadoop-1.0.3.tar.gz是最穩定的版本，能夠根據狀況選擇其餘版本）

3.1、將下載包解壓到usr目錄tar zxvf hadoop-1.0.3.tar.gz

3.2、修改hadoop-env.sh配置

這裏有兩種配置方法一種是直接經過vi配置，這須要對它有必定的瞭解，因爲我是個新手因此就直接找到該文件，而後對之進行修改（這時用具備root權限的用戶登陸就有優點了，由於這些配置文件的權限屬於root，普通用戶是不具備該權限的）

先給出經過vi配置的方法，這是我在網上百度的，沒有實驗過，但這裏的目錄名須要與你的先前解壓目錄相對應（即/usr/lib/jvm/jdk1.7.0_04目錄）

• vi conf/hadoop-env.sh

• # 找到JAVA_HOME設置：export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04

• # 在文件末尾加如下內容, 取消環境變量$HADOOP_HOME過期的警告:export HADOOP_HOME_WARN_SUPPRESS=1

配置環境變量(集羣節點都要配置環境變量)

vi /etc/profile

在文件中末尾加入如下內容：

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/hadoop-1.0.3
export PATH=$PATH:$HADOOP_HOME/bin

讓環境變量生效

source /etc/profile

主要配置三個文件：core-site.xml、hdfs-site.xml、mapred-site.xml使用高版本的hadoop就要修改成下面的配置：

Java代碼 §

1. 配置

2. 使用以下的 conf/core-site.xml:

4. <configuration>

5. <property>

6. <name>fs.default.name</name>

7. <value>hdfs://localhost:9000</value>

8. </property>

9. </configuration>

Java代碼 §

1. 配置

2. 使用以下的 conf/hdfs-site.xml:

4. <configuration>

5. <property>

6. <name>dfs.replication</name>

7. <value>1</value>

8. </property>

9. </configuration>

Java代碼 §

1. 配置

2. 使用以下的 conf/mapred-site.xml:

4. <configuration>

5. <property>

6. <name>mapred.job.tracker</name>

7. <value>localhost:9001</value>

8. </property>

9. </configuration>

接下來給出直接配置方法，直接配置方法就是直接在你的安裝目錄中修改該文件，

1.在usr/hadoop1.0.3/conf目錄下找到hadoop-env.sh文件後打開，注意由於如今是root用戶登陸，因此可能會出現一個對話框，這裏要選顯示而不是執行

找到

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

（# 表示註釋，它以後的句子不被執行，僅起提示做用）

再該句話下加入配置環境語句（注意目錄的對應）

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04

在文件末尾加

export HADOOP_HOME_WARN_SUPPRESS=1

取消環境變量$HADOOP_HOME過期的警告:

2.配置環境變量

在etc目錄下找到profile文件，在其末尾加入如下內容（這裏一樣要注意目錄的對應）

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/hadoop-1.0.3
export PATH=$PATH:$HADOOP_HOME/bin

因爲#能夠起到註釋做用，你能夠在這裏加上

#I add something to make java-jdk active times:2012 08 24 22:36

惟一標識

讓環境變量生效

在終端中source /etc/profile

3.配置三個文件core-site.xml、hdfs-site.xml、mapred-site.xml

在usr/hadoop1.0.3/conf中找到core-site.xml文件

在<configuration>

</configuration>

中加入

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

找到hdfs-site.xml文件

在<configuration>

</configuration>

中加入

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

找到mapred-site.xml文件

在<configuration>

</configuration>

中加入

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

4.在終端中輸入ssh localhost若是須要輸入密碼則輸入密碼後運行如下兩條命令，

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

這是爲了，配置自由登陸hadoop的密碼，第一句是產生，第二句是分發

5.用cd命令進入usr/hadoop1.0.3中輸入bin/hadoop namenode -format進行格式化

6. 輸入bin/start-all.sh啓動hadoop

7.在瀏覽器中輸入 http://localhost:50070/，如顯示的有磁盤容量表示已經配置成功。

注意因定要進入hadoop安裝目錄後再運行bin...命令，不然會出現找不到文件或文件夾