【Java 學習筆記】 Hadoop學習筆記

簡介

Hadoop是Apache開發的一個用於大規模分佈式計算的開源工程。主頁地址：http://hadoop.apache.org/。

安裝

在windows上安裝Hadoop文檔：http://wenku.baidu.com/view/6af47921af45b307e8719799.html

簡單介紹下步驟吧

Step 1. 安裝cygwin，cygwin是在windows的平臺上模擬Linux環境的虛擬機。要注意安裝的時候cygwin的安裝組件最好全選，由於之後再加比較麻煩。

Step 2. 使用cygwin安裝sshd服務。文檔：http://ebiquity.umbc.edu/Tutorials/Hadoop/05%20-%20Setup%20SSHD.html

    安裝指令：ssh-host-config

    由於第一次使用安裝cygwin的時候cygwin的窗口被我直接叉掉了（注意win7下面必須用管理員權限打開cygwin！！），因此後面都須要overwrite一些已生成的文件。

截圖以下：

  

   有問到權限分離，具體是什麼意思也不清楚，可是在說明文檔裏特別講了填no。

  

   問是否要安裝ssh，選擇yes，然後會出現「Enter the value of CYGWIN for the daemon: []」，填上 ntsec

  

   以後問是否要用一個不一樣的名字，選了no，後面的那個選了yes

  

   然後就是鍵入密碼什麼的，最後出現了have fun！這個詞，你就成功了～～

  

   安裝成功sshd後須要啓動sshd服務，路徑：計算機-管理-服務和應用程序-服務-cygwin sshd-右鍵啓動。

Step 3. 配置ssh登陸

   在cygwin中使用ssh-keygen生成密鑰文件，以下圖所示：（一直按回車知道出現下面的那張大圖，三次回車）

  

   以後以下圖操做（跟着文檔的步驟走的）

  

   完成上面步驟後，寫入exit，退出cygwin（若是不那麼作會出問題，是否是由於在ssh的目錄下？）

   從新打開cygwin，輸入 ssh localhost，在問是否繼續的時候回答yes。 以後就會打出一張圖片，頗有愛哦～

  

Step 4. 下載hadoop安裝包：

   在hadoop網站上找到下載的端口（common）：http://www.apache.org/dyn/closer.cgi/hadoop/common/

   在裏面能夠找到離本身最近的下載點（看到有北京交通大學的鏡像，這個挺近的）：http://mirror.bjtu.edu.cn/apache//hadoop/common/

   下載了2.3.0，就隨便下了個版本，hadoop-0.23.0.tar.gz，59.43M。

Step 5. 安裝hadoop

   1. 將hadoop解壓到自定義的目錄，D:\Useful Software\Software Installed\hadoop\run

   2. 修改hadoop中文件的配置

•  修改hadoop-evn.sh

          將JAVA_HOME設爲JDK的目錄便可，JDK版本必須大於1.6

•  修改core-site.xml

　　    

• x修改