個人spark學習之路(一）

2016.8.10

其實北京一年，我也一直在考慮我回所到底研究什麼方向，但都只是停留在想一想的層次，最終也沒什麼結果，回來老師問了個人想法說，學分佈式計算吧，讀博也能夠，找工做也好找，文章也好發，我一想，這感情好啊，既符合我搞開發的興趣，文章也不難發，畢業了還有兩個選擇，簡直是三全其美啊。雖然老師給了我兩個月的時間考慮，可是我基本就決定了，我必定要研究這個方向，因而就有了接下來的話題。

1、背景

1.北京打了一年醬油剛回來、什麼都不會。
2.即將面臨開題、壓力山大。
3.老闆告訴我學這個須要高智商，須要學不少東西，須要能堅持下去。

就在這樣的背景下，開始了個人受虐之路

2、迷茫

第一天

自認爲編程基礎還不錯的我就被虐的像個計算機小白同樣。
之前你服務器接觸的是什麼類型，Linux?
沒有，沒接觸過。
……
之前你都是用什麼寫網頁的？
javascript。
…….
contOS你瞭解嗎？
昨天在網上剛看到過。
……

那天我被本身並不能聽的懂的英語視頻毒害了一天。

（下午我終於拿到本身的電腦了，可是爲何是Linux操做系統？我悲劇的發現本身不知道怎麼切換到中文輸入法。）

次日

這一天我被老師叫去繼續向魏老師學習，我坐在旁邊很迷茫的看着投影，不知道魏老師在幹什麼。後面我就本身上網查資料去了，看了無數的hadoop安裝教程，可是最讓我糾結的仍是誰能告訴我centOS,ubuntu,hadoop，
docker，VM這些東西到底什麼關係啊，

這是一個在centOS上安裝hadoop的步驟，看到它我首先想的是：不是說安裝hadoop麼，怎麼又成爲CDH了，CDH又是什麼鬼？而後是：安裝centOS？centOS不是個操做系統麼，怎麼都安裝vmware了才安裝操做系統，沒有操做系統vmware是怎麼安裝的？相比之下後面的幾步卻是好理解了。
那天我被這樣簡單到白癡的問題折磨了一成天。

3、動手

第三天我在網上找了一個教程決定本身裝。
http://tashan10.com/yong-dockerda-jian-hadoopwei-fen-bu-shi-ji-qun/
這是一個基於Docker安裝hadoop分佈式集羣的教程，寫的很詳細，我幾乎照着它一路就做下去了。遺憾的是這一天仍是沒弄好。（吐嘈一下，我以爲後面這兩天限制的進度的最大因素是那裏的網太慢了）
第四天，花了一上午的時間終於照着教程作完了，我不知道算不算作好了，拿去專門找魏老師認證了一下，當他告訴我應該算好了的時候，個人想法是好像也不難啊，爲何吳老師給我看的教程寫的那麼複雜。
晚上回到辦公室把本身作的成果拿出來看了又看，激動之餘發現個人結果好像和教程不太同樣，我執行hadoop dfsadmin -report這個命令後雖然沒有報錯，但顯示個人datanode爲0 （正確的應該是2）爲了這個問題我把原來作好的容器刪了又作了一次，結果仍是不對，最後查了好多資料發現緣由是我沒有修改兩個slave的slaves文件。

hadoop佈署好以後我想是否是該裝spark了（由於我告訴老師hadoop以後他問了我一句：」Spark也裝好了？」）。

有了hadoop的前車可鑑，找個教程直接開裝spark。
先找的是馬踏飛燕——奔跑在Docker上的Spark
雖然照着這個教程作完了，不過這個寫的有點簡單，中間我都是本身估摸的作的，最終也作完了，但打開spark-shell總是報錯，一直找不到錯誤又從新找了個教程——spark1.6分佈式集羣環境搭建
最終照着這個教程完成了spark的佈署

4、我想

回想了本身安裝spark、hadoop的過程，雖然不是一路順風，但也不算曆盡磨難。hadoop花了兩天的時間，算上解決後面的小問題（沒有datanode）不到三天的時間，而spark花了一天時間就裝好了。
在動手作的過程當中，前面讓我迷茫的問題也迎刃而解了。看來任何事情仍是要動手啊。
我想，前兩天之因此後迷茫應該是幹任何一行都要經歷的入門階段吧（雖然我如今也不算入門），回想本身剛開始學編程不也是那樣。那個時候，聽到的一些名詞都是新的，每一點進步是千難萬難。雖然如此，我想我會繼續下去並努力取得成功。

5、再迷茫

hadoop、spark都裝好了，可是在查資料的過程當中，我又看到不少新名詞，因此我再次迷茫了。yarn,zookeeper,hbase,hive,standalon這些都是什麼鬼？和hadoop有什麼關係？我要不要進一步瞭解？剛纔和魏老師交流了，他讓我先了解就好了，之後用的時候天然會知道。

時間倉促，保安都上來趕人了，就寫到這兒吧。