hadoop本地(獨立)模式-安裝

本人博客開始遷移，博客整個架構本身搭建及編碼http://www.cookqq.com/listBlog.action

本地(獨立)模式

    Hadoop的默認配置即爲本地模式，此時Hadoop使用本地文件系統而非分佈式文件系統，並且其也不會啓動任何Hadoop守護進程，Map和Reduce任務都做爲同一進程的不一樣部分來執行。所以，本地模式下的Hadoop僅運行於本機。此種模式僅用於開發或調試MapReduce應用程序但卻避免了複雜的後續操做。

僞分佈式(Pseudo-distributed)模式

    hadoop將全部進程運行於同一臺主機上，但此時Hadoop將使用分佈式文件系統，並且各jobs也是由JobTracker服務管理的獨立進程。同時，因爲僞分佈式的Hadoop集羣只有一個節點，所以HDFS的塊複製將限制爲單個副本，其secondary-master和slave也都將運行於本地主機。此種模式除了並不是真正意義的分佈式以外，其程序執行邏輯徹底相似於徹底分佈式，所以，經常使用於開發人員測試程序執行。

徹底分佈式(Fully distributed)模式

    hadoop守護進程運行在一個集羣上。

本地(獨立)模式安裝過程：

1/首先在官網下載hadoop文件，hadoop-0.20.2.tar.gz
2/系統下要安裝jdk
個人系統jdk安裝在：JAVA_HOME=/usr/lib/jvm/java-6-oracle
3/解壓hadoop-0.20.2.tar.gz文件：

tar -xvzf hadoop-0.20.2.tar.gz

4/編輯 conf/hadoop-env.sh文件，至少須要將JAVA_HOME設置爲Java安裝根路徑。

5/嘗試以下命令：

$ bin/hadoop

將會顯示hadoop 腳本的使用文檔。

下面運行hadoop自帶例子：

將已解壓的 conf 目錄拷貝做爲輸入，查找並顯示匹配給定正則表達式的條目。輸出寫入到指定的output目錄。 

$ mkdir input 
$ cp conf/*.xml input 
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
$ cat output/*