在Windows下安裝Hadoop 圖文教程

Windows下運 行Hadoop，一般有兩種方式：一種是用VM方式安裝一個Linux操做系統，這樣基本能夠實現全Linux環境的Hadoop運行；另外一種是經過 Cygwin模擬Linux環境。後者的好處是使用比較方便，安裝過程也簡單。在這裏我們就來看看第二種方案：如何再Windows下快速安裝一個 Hadoop環境，並結合Eclipse開發環境研究和調整Hadoop代碼。

整個安裝過程包括如下三大步驟：

1. 安裝和配置Cygwin（http://cygwin.com/install.html）

2. 安裝和配置Hadoop-1.2.1（http://hadoop.apache.org/docs/stable/cluster_setup.html）

3. 安裝和配置Eclipse開發環境

1安裝和配置Cygwin

在Windows下經過安裝Cygwin模擬Linux環境，而後再安裝Hadoop，是一種簡單方便的方式，爲Hadoop準備的模擬Linux環境安裝過程以下：

1.1下載安裝文件

針對不一樣系統類型下載相應的安裝文件，下載地址：http://cygwin.com/install.html。

我這裏的系統是window 7因此下載的是setup-x86.exe

1.2安裝Cygwin

剛剛下載的文件是模擬Linux系統所依賴的軟件包下載和管理工具，之後想要在模擬Linux環境中安裝或更新軟件都須要經過這個工具來完成，下面咱們就先運行起來這個工具以下：

1. 左鍵雙擊setup-x86.exe文件運行安裝嚮導：

cygwin安裝

1. 點擊【下一步】按鈕進入程序引導安裝頁，這裏有三個選項，選擇第一項網絡安裝：

• 網絡安裝：經過網絡下載並安裝軟件包

• 下載但不安裝：經過網絡下載軟件包

• 本地安裝：是用本地軟件包安裝

cygwin安裝

1. 點擊【下一步】進入選擇模擬Linux系統的根目錄和用戶的嚮導頁。在Linux的文件系統中有且只有一個根目錄，在這裏選擇目錄就是Linux中的那個根目錄了，這裏選擇默認：c:\cygwin；用戶選擇第一項：本系統的全部有效用戶。

cygwin安裝

1. 點擊【下一步】選擇本地軟件包目錄，該工具會自動記住並將之後下載的全部軟件包都會放到這裏指定的目錄。我這裏選擇：C:\Users\Administrator\Desktop\1，若是選擇不存在目錄，就好提示是否建立目錄選Yes就OK。

cygwin安裝

1. 點擊【下一步】選擇您的網絡鏈接，我這裏使用的是代理服務器上網，因此我選擇第二項：使用IE瀏覽器代理設置。經測試選擇第三項輸入代理服務器地址和端口，不能正常訪問網絡，緣由不明。

cygwin安裝

1. 點擊【下一步】，等待下載鏡像站點列表，下載完成後出現選擇下載軟件包的站點。如圖：

cygwin安裝

1. 根據本身的狀況選擇合適的下載地址，我這裏選擇了國內的163站點，點擊【下一步】，這個工具就會自動下載軟件包信息列表下載完成後進入安裝軟件包選擇頁，以下圖：

cygwin安裝

1. 這一步比較重要，如下軟件包要確保被安裝：

cygwin安裝

注：這個軟件包列表由前到後包括：分類、當前安裝版本，最新版本，安裝可執行文件？，安裝源代碼文件？，大小，包名稱和說明。

• 基礎軟件包：Base及其下面的全部軟件包，操做方法：點擊Base後面的Default爲Install。

• SSH相關軟件包：Net下的OpenSSL和和OpenSSH，用於Hadoop須要的SSH訪問，操做方法：點擊【+】展開Net節點，點擊各個軟件包前的最新版本號列的Keep爲版本號即爲選中安裝。

• 其餘軟件包根據本身的須要選中是否安裝便可，我這裏還選中了Emacs、VIM、Perl、Python、Ruby、Science、subversion等經常使用工具。

1. 選擇完軟件包點擊【下一步】，進入自動下載與安裝，以下圖：

   cygwin安裝

1. 點擊【下一步】進入嚮導結束頁，勾選建立桌面快捷方式點擊【完成便可】，如圖：

   cygwin安裝

到這裏，您已經完成了模擬Linux環境的安裝，左鍵雙擊桌面上的圖標打開這個模擬Linux的終端窗口輸入幾個經常使用Linux命令體驗下這個模擬的Linux系統吧，除了能夠執行Linux經常使用命令外，還能夠執行Windows的命令例如：net start service_name等。體驗完成後繼續下面的配置工做。

1.3配置Cygwin的SSH服務

Cygwin安裝完成後，須要先配置SSH服務，以知足Hadoop提出的SSH無密碼登入，過程以下：

打開模擬Linux的終端，進入Linux環境

執行命令：ssh-host-config如圖：

• Hadoop安裝

第一次詢問：「Should privilege separation be used? (yes/no)」，輸入no回車。

第二次詢問：「Do you want to install sshd a service?」，輸入yes回車。

第三次提示：「Enter the value of CYGWIN for the demon: []」，直接回車。

第四次詢問：「Do you want to use a different name? (yes/no)」，輸入no回車。

第五次提示：「Please enter the password for user ‘cyg_server’:」，輸入密碼回車，在此輸入密碼回車。

最後提示配置完成。

1.4啓動SSH服務

在Linux終端或Windows命令行執行net start sshd或命令cygrunsrv –S sshd啓動SSH服務。

測試ssh登入本機：

在終端執行命令：ssh localhost

提示輸入密碼：輸入密碼回車，以下圖：

Hadoop安裝

 

1.5配置SSH免密碼登入

在終端執行命令：ssh-keygen -t dsa -P 」 -f ~/.ssh/id_dsa生成祕鑰。

執行命令：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys生成認證文件。

執行命令：ssh localhost測試是否無需輸入密碼便可登入。

原文地址：http://blog.csdn.net/nazarite_wen/article/details/34409923