小白作最新單機2.7.1 hadoop(hadoop 安裝，配置，錯誤彙總)

本人比較笨，弄了很久才學到皮毛（之後在學到一點在補充）。

首先給你們兩個網頁理解什麼是hadoop:

  http://os.51cto.com/art/201305/396145.htm  （建議先看,中間一段解釋的很好）

http://www.cnblogs.com/laov/p/3434917.html (很是易理解的圖解hadoop)

hadoop分爲兩部分hdfs(文件儲存)，MapReduce（文件處理）

因此咱們分兩部分  一.安裝配置hadoop   二.使用ecplise 運行小例子   (下篇博客再寫)

1.下載 解壓hadoop地址 http://mirrors.cnnic.cn/（apache中國源碼下載）

2.配置環境變量：/etc/profile  須要添加 ： 

export HADOOP_HOME=/home/user/hadoop-2.7.1   
export PATH=$PATH:$HADOOP_HOME/bin

3.修改hadoop配置：cd  hadoop-2.7.1/etc/hadoop

 hadoop-env.sh 中

export JAVA_HOME=/home/user/javaIDE/jdk1.8.0_65  ###必須是絕對路徑
##默認安裝的Java的路徑 /usr/lib/jvm/...

  在  mapred-site.xml 添加（在這個版本中沒有這個文件，將mapred-site.xml.template改成mapred-site.xml）（別添加錯了，放在<configuration>裏面，我當時就寫錯了。。。。這腦殼）

<property>
    <name>mapred.job.tracker</name>
     <value>localhost:9001</value>
</property>

 在core-site.xml添加（二個標籤必填。第二<value>標籤目錄決定你要儲存的文件放在哪裏，同時該目錄必需要先存在） 

<property>          
      <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
</property>
<property>
     <name>hadoop.tmp.dir</name>
     <value>/home/user/hadoop_tmp</value>
</property>

4.設置ssh免密碼登陸

##查看ssh是否安裝
apt-get install ssh
ssh-keygen -t rsa  ##一直按enter鍵
cat id_rsa.pub >> authorized_keys  ##先進入.ssh目錄
##驗證 ssh localhost

5.先初始化namenode                                                                                                                                    

命令  hadoop  namenode -format                                                                                                                  

啓動hadoop      ./start-all.sh                                                                                       

6,用於檢查：hdfs dfsadmin -report

7.jps      查看那些沒有啓動：一共這幾項DataNode ，SecondaryNameNode ，NameNode     ResourceManager， NodeManager，Jps                                                                                   

 ps:全部對配置的更改都要重啓hadoop纔有用。

 8.若是出現沒法鏈接錯誤   請檢查：9000  9001端口是否佔用，core-site.xml文件中設置的目錄是否存在（hadoop是不會建立它，須要本身手動建立）hadoop是否啓動（hadoop命令能夠用不表示hadoop是啓動着的）  

9.出現如下錯誤：                                                                                                                                          

錯誤： 現象是沒法鏈接錯誤   同時  執行./stop-all.sh 時 出現0.0.0.0: no secondarynamenode to stop        

解決：常試初始化namenode ，命令： hadoop  namenode -format  （重啓hadoop）

你們出現什麼錯誤能夠留言