Ubuntu11.10下安裝Hadoop1.0.0（單機僞分佈式）

環境配置：Ubuntu11.10，Hadoop1.0.0

安裝ssh

apt-get install ssh

安裝rsync

apt-get install rsync

配置ssh免密碼登陸

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

驗證是否成功

ssh localhost

下載Hadoop1.0.0,JDK

新建 linux 終端，創建app目錄，Java和Hadoop都將安裝在此目錄中。

mkdir /home/app

接下來，安裝Java和Hadoop，Hadoop解壓便可。

cd /home/app
chmod +x jdk-6u30-linux-i586.bin
./jdk-6u30-linux-i586.bin

tar zxf hadoop-1.0.0-bin.tar.gz

配置JDK環境變量

vi /etc/profile

增長下面語句到最後

export JAVA_HOME=/home/app/jdk1.6.0_30
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

接下來開始配置Hadoop

進入Hadoop目錄

cd /home/app/hadoop-1.0.0

修改配置文件，指定JDk安裝路徑

vi conf/hadoop-env.sh

export JAVA_HOME=/home/app/jdk1.6.0_30

修改Hadoop核心配置文件core-site.xml，這裏配置的是HDFS的地址和端口號

vi conf/core-site.xml

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>	
	</property>
</configuration>

修改Hadoop中HDFS的配置，配置的備份方式默認爲3，由於安裝的是單機版，因此須要改成1

vi conf/hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口

vi conf/mapred-site.xml

<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>localhost:9001</value>
	</property>
</configuration>

接下來，啓動Hadoop，在啓動以前，須要格式化Hadoop的文件系統HDFS，進入Hadoop文件夾，輸入下面命令

bin/hadoop namenode -format

而後啓動Hadoop，輸入命令

bin/start-all.sh

這個命令爲全部服務所有啓動。

最後，驗證Hadoop是否安裝成功。打開瀏覽器，分別輸入一下網址：

http://localhost:50030    (MapReduce的Web頁面)

http://localhost:50070    (HDfS的web頁面)

若是都能查看，說明安裝成功。

Hadoop分別從三個角度將主機劃分爲兩種角色：

第一，劃分爲master和slave，即主人與奴隸。

第二，從HDFS的角度，將主機劃分爲namenode和datanode(在分佈式文件系統中，目錄的管理很重要，管理目錄的就至關於主人，而namenode就是目錄管理者)。

第三，從MapReduce的角度，將主機劃分爲JobTracker和TaskTracker(一個job常常被劃分爲多個task，從這個角度不難理解它們之間的關係)。