在windows+Linux環境下搭建Hadoop集羣

1、背景

在Linux環境成功搭建的基礎上（傳送門：http://www.cnblogs.com/lvli/p/8580437.html），博主又衍生出了新的想法。

以Hadoop的特色，那麼咱們可不能夠利用那些常人眼中已經是廢物（沒法玩遊戲）的機器，而低成本地搭建集羣。再就是，通常來講，windows系統更加經常使用，Linux系統使用起來實際上是須要必定的學習成本，因此咱們可不可能創建一個其實使用環境是Linux系統可是並不須要更換本身的windows系統呢？其實咱們以前已經利用虛擬機作到了，可是全部的虛擬機都是在同一臺機器上，會形成那臺機器負擔太重，影響使用。

那麼咱們就能夠在每臺機器上只創建一個虛擬機，而充分利用每臺機器的性能。 -。-

2、過程

想到很容易，可是作起來真的不是通常的難。

我共經歷了兩段時期。股市有一種曲線，樣子相似於U或者V，我第一段大概走得就是下行線。其實之因此要弄這個集羣，一開始也是爲了作一個項目，基於企業進銷項發票數據的異常企業預測分析。該項目提供的數據量相對於我以前所接觸的數據量而言是至關大的，我想着用真實機器搭建一個集羣來跑這些數據。學校的機器或者說網絡是配置好的，看了IP也是在同一個局域網內。即便在不配置任何東西的狀況下，局域網中的機器也是能夠互相連通的。我想的就是，先驗證機器之間能不能連通，再經過配置，驗證，每一個虛擬機和機器之間能不能連通，最後再驗證每一個虛擬機之間能不能連通。

循序漸進地按照想法，按照步驟，作了之後，集羣之間連不通！我連虛擬機和宿主機器之間都連不通！連不通外網卻是正常，由於是主機模式嘛，可是連不通宿主機器！我當時真的是怎麼也想不通，並且我作的時候還沒當回事兒，讓一個外行來幫我，結果就很尷尬。另一邊，個人老師還不斷地催我，大概的意思就是弄很差就不要弄了，先設計項目方案重要。差很少是三天的樣子，在各類各樣因素的刺激下，我當時是選擇了放棄……當機立斷，換了一個項目，企業信息族譜分析。可是我留下了一個結，我猜大概問題就是出在網絡配置上，個人網絡知識很欠缺，百度搜相關的問題，我彷佛捕捉到一點辦法的影子--網關。

我在作完當前項目的需求設計以後，有了一個空檔，因而我又沒出息地去碰了那三臺電腦，進入了第二個階段。

首先，理清思路。其實，在第一段到第二段的時間內，我開啓了健身的不歸路，而後還有影響最大的是讀了劉潤老師的文章。最有趣的仍是，劉潤：來吧，測測你可否加入微軟 | 5道微軟面試題，總之就是幹了一堆看似和我正要說的事沒有關係的事。個人總目標是，搭建一個集羣。集羣須要每一個機器之間能夠連通，我雖然是要搭建Hadoop的集羣，可是Hadoop的配置，Java的配置，時間同步，ssh免密碼登陸都是不會影響鏈接，且以連通爲基礎。那麼問題就出在最開始，主機的配置。既然要鏈接，那麼大概問題就是網絡配置。我已經確保個人四臺機器在同一個局域網內，可是虛擬機在不在局域網內呢。我一開始的想法是兩種可能，一種是還按照當前的配置（主機模式），可是我改虛擬機的配置，把虛擬機的IP改到和局域網的網段一致，這樣有可能連通。還有一種，我本身從新配置，使用網橋模式鏈接。

偶爾進入了一個講解網橋模式搭建的網頁讓我選擇了第二種，我一步一步地照作。先在windows系統下，檢測本地網絡有沒有網橋協議----經過虛擬機的網絡配置器，將網卡的自動選擇改成機器使用的網卡----將虛擬機網絡改成網橋模式----進入虛擬機系統，根據本地網絡的數據，配置IP，子網掩碼，網關和DNS----重啓網絡服務。這樣作，打開瀏覽器，我真的連通了網絡，但那仍是外網，因而我再ping宿主機器的IP，此次真的連通了！一臺連通之後，我看見了但願，我按照一樣的步驟繼續配置其餘機器，固然，虛擬機和宿主機器之間均可以ping通了，但我猜，以前ping不通只是網關的緣由。最後到了關鍵的一步，也就是，虛擬機之間是否能夠連通。事實上就是正確地使用了橋接模式後，虛擬機之間是能夠直接連通的。

我以前的想法就是虛擬機----宿主機器，宿主機器----宿主機器——>>虛擬機-----虛擬機，但應該是 虛擬機----虛擬機，宿主機器在此時反而只充當了一個網卡的做用，網絡知識的不足確實使我繞了一個很大的彎子。

3、配圖

最後配上成功的圖。