[備份]hadoop配置過程。

折騰hadoop很久，期間幾回徹底推到重來，如今在這裏寫下來備份。本文不是寫給別人做爲教程，而是給我本身做提醒的，若是你碰巧看到了本文，那你可能須要一些linux基本知識才能正確理解。

1，安裝linux

    本文假設從裸機開始，因此要先裝linux。本人是ubuntu對支持者，因此裝的是ubuntu，廢話沒有，很容易就裝好了。在安裝過程當中，要注意全部節點對主機名應該有規律，好比node0, node1, node2 ...

2，準備

    下面對軟件對安裝，全都使用了apt，這個軟件須要互聯網連接，若是你對網速極慢，或者根本連接不到外部網絡（這個現象在教育網內很常見），能夠從一個能上網對ubuntu電腦上的/var/cache/apt/archives文件夾裏deb文件出來安裝（什麼？你問我這個文件夾裏爲何沒有想要的包，這個文件夾是apt對緩存文件夾，想要裏面有你想要對東西，不用我提醒你應該怎麼辦了吧）。

    ubuntu默認已經裝好了openssh-client，須要安裝openssh-server。命令以下：

sudo apt-get install openssh-server

 

    而後是jdk：

sudo apt-get install default-jdk

 

3，配置網絡

    若是你的節點們能夠經過dhcp服務器得到ip，我我的建議，這樣作，緣由是簡單，不用怎麼配置就搞定了。或者可使用靜態ip，做爲一個牛b的linux大牛，應該能夠經過一行命令來設置靜態ip，可是我不會。我一般都是在gnome提供的網絡管理器來設ip對。若是你用對linux裏沒有圖形界面，那樣請google。

    設置好了ip地址以後，記憶在/etc/hosts文件中給每一個節點起個名字，最好就是各自對主機名，這樣有利於下面對配置和管理。

     hadoop要求各節點間能夠不須要輸入密碼就能用ssh互相登陸。我使用了比官方方法簡單一點方法來設置，可是聽說安全性有點兒問題。下面是方法：

     在某個節點上執行以下命令：

rm -rf ~/.ssh

ssh-keygen -t rsa

     這個命令以後須要多按幾回回車，知道再次出現命令提示符。固然，這個作法也不是很安全，裏面有個輸入key的地方，官方的建議是，輸入一首歌的歌詞，呵呵，這個建議很搞笑。固然在個人步驟中，這個key就是空值了。

cat ~/.ssh/id_rsa.pub >> authorized_keys

     而後把整個.ssh文件夾考到全部對節點上，具體方法可使用scp命令，具體命令因爲和具體環境有關，下面不寫。

 

這樣網絡就設置對差很少了。

4，安裝hadoop

    解壓，這個比較簡單，命令不寫。解壓對位置最好每一個hadoop都同樣，不同有什麼後果，我沒試過。

    以後要進行一些配置，首先進入解壓後目錄對conf文件夾，要修改對配置文件包括hadoop-env.sh hadoop-site.xml masters slaves

    hadoop-env.sh中要uncomment下面一行：

 

export JAVA_HOME=/home/hadoop/jdk1.6.0_16/

 

    固然具體的值，也要根據具體狀況進行更改。

    接下來是hadoop-site.xml，下面是個人文件內容。

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://node0:6000</value>
</property>

<property>
<name>mapred.job.tracker</name>
<value>node0:6001</value>
</property>

</configuratiron>

    這個例子很直白，不解釋。

 

    masters裏面是jobtracker和namenode所在節點的主機名或者ip地址，個人masters文件裏只有一行，固然若是你想要設置多個節點做爲主節點，也能夠。

    slaves裏面是全部tasktracker和datanode對主機名或ip地址。

5，運行

    先進入hadoop安裝文件夾。而後依次運行以下命令：

bin/hadoop namenode -format
bin/start-all.sh

    不出意外的話，如今hadoop就可使用了。