大數據實踐總結－－兩個故障的處理及思路總結

    已經有一段時間沒有更新實踐內容了，不是由於沒有在學習。而是工做上出現一個新的挑戰，又在忙論文查重，論文也是大數據方向的，主要是ICT方向的一個技術（如有人感興趣，我會另開一個帖子來詳細談這個內容）。

    並且最近，把以前全部的實踐環境換了一臺電腦來從新搭建。按理說會很順利，但沒想到，仍是出了許多問題。一些簡單的問題就直接解決了，但還是有兩個大的故障，一直到今天下午才所有都解決了。現總結以下，爲之後也能更好的學習使用。

故障一：虛擬機上虛擬適配器不能連接到主機的網絡

故障現像：

   在將原來的虛擬機總體複製到新電腦上以後，發現從虛擬機上能夠PING通外網，但從本身的主機上不能PING通虛擬機。這樣就致使了沒法從CRT軟件上遠程登陸虛擬機。

解決思路：

    這個現像在網絡上叫單通，也即PING操做裏只有一個方向可以經過，通常出現這種狀況，首先的判斷是防火牆的問題。而從虛機到外網可達，說明虛機上的防火牆是關閉着的。而後重點就是在主機側，經過查看主機的網絡連接，沒有找到跟虛擬機的網絡連接。故障緣由多是出在這個地方。

解決步驟：

    關於這個問題，網絡上能搜索到許多貼子，解決辦法也有不少種。什麼重啓，從新配置之類都有不少。但都沒有最終解決虛擬網絡連接的問題。

1，http://tieba.baidu.com/p/3508962695主要是參考了這個貼子裏16樓提到的方法，由於故障的關鍵是在虛擬網絡沒有創建上。因此主要思考如何可以從新創建這個連接。

2，在以上的解決辦法中，沒有按照上邊的一步一步來照着操做，而是直接下載了cc cleaner這個軟件，由於經過以前的相關貼子，發現之因此虛擬網絡連接沒法創建，可能跟操做系統有關，而這一塊又確定與註冊表有關。而這個軟件主要是修改系統的相應註冊表項。

3，當修復完相關的註冊表項，查看網上鄰居的屬性頁面，發現出現了與虛擬機相連的VMnet8的網絡連接。而後經過屬性頁面，修改其IP爲虛擬機的網關IP地址，同時DNS也設置爲虛擬機上的DNS。

最後，再進行相關驗證，在這裏有一點須要注意，要把你主機的對外網絡設置爲可共享（至關於虛擬機經過共享上外網）。至此，故障解決！

故障反思：

    任何故障的出現都是有緣由的，在網絡上都可以搜索到相關的信息。如何找到關鍵詞，找到適合本身的相關內容很關鍵。同時要對故障產生的大概緣由有一個前提判斷，這樣就是能夠在正確的跑道上去尋找答案。首先要相信一點，是故障老是會被解決的。不要總想着重裝系統來解決問題，這只是逃避問題的一種方案。多去思考，多去看前人的技術總結，會讓你的技術思路有很大提高的。

故障二：在搭建好Hadoop集羣后，namenode與datanode兩個過程不能起來，或者一個啓動以後另外一個自動關閉

故障現像：

    此故障能夠算是在換電腦搭集羣后最多的故障了，首先是從節點上相關進程都沒起來，後來又是進程起來後從節點上datanode節點沒起來，最後是datanode進程起來以後，主節點上namenode進程又沒起來。此故障看起來一波三折，實際上在理解好相關原理後，解決起來要比第一個故障輕鬆一些。

解決思路：

    原理爲先：首先要找到對應關係，主節點上namenode主要是跟從節點上datanode相對應。

                                  主節點上jobtracker主要是跟從節點是tasktrack相對應。

    故障細分：1，從節點上進程起不來。2，datanode沒法開啓 3，namenode沒法開啓

解決步驟：

    此故障在網上也是有不少攻略，在看完其餘人的解決方法後。從理論聯繫實操分三步走來解決這個故障：

1，從節點上進程沒法啓動，這個問題較爲簡單。大部分是因爲各虛擬機之間的防火牆沒有關閉，而在真實的生產系統中。也表現來Linux之間的防火牆問題致使的HDFS集羣不通。又或者是暫時性關閉防火牆，沒有永久性關閉。具體的命令從網上均可以找到。

2，datanode沒法開啓，這裏就要尋找你當初設置此集羣時的六個文件，裏邊就有設置的相關參數。主要是在core-site.xml內，在這個裏邊，咱們設置了相關臨時文件夾，也至關於這個進程在開啓以後是否與主節點須要通訊。當把這裏邊創建的tmp文件夾刪除以後，從節點上的datanode就能夠順利開啓了。

3，namenode沒法開啓，因爲從上邊的原理上來看，datanode與namenode是相互依存的關係，而它們之間要啓動確定是同時啓運的。不會一個開啓，一個關閉。如果這樣，那確定另外一個進程一下子也會自動關閉。而控制兩個進程之間同步的有時間戳消息。而這個消息主要是在logs日誌裏。當把hadoop安裝目錄下的logs全刪除後。

而後，將所有進程中止，再所有從新啓動。全部進程就都起來了。至此，故障解決！！

故障反思：

    此故障解決起來，主要是要把原理搞明白。否則在看網上相關攻略的時候老是會找不到方法。多去思考背後的緣由，多去總結，反思！提高本身解決問題的能力！

    通過這兩個故障，更多的對Linux的基礎命令熟悉了許多，同時對HDFS的相關設置也更加熟悉。在實踐過程當中，也遇到過：如果故障解決不了，要不要從新搭建的問題？後來想明白了。在網吧上網的年代，那些喊一聲網管，電腦死機了。網管通常的解決辦法就是重啓。而從新搭建就跟網管的功能是同樣的，遇到技術上的問題，不要逃避，多去思考，多去實踐，纔是提高你大數據技術實力的關鍵。