大數據生涯感悟

　　不知不覺，畢業一年半了，從實習開始接觸大數據技術。那時懵懂的我，不對，應該說懵逼的我在想，臥槽，這是啥這麼牛逼，我都不會啊。。。啥都不會完蛋了。。即使如今也是這樣認爲= =

　　今年仍是有不少變故的，不過絲毫沒法阻擋我對技術的熱情，這種熱情猶如滔滔江水連綿不絕，嘩啦啦啦啦啦啦~上圖，讓咱們看下大數據工程師要掌握的技能有哪些呢？

　　

　　乍一看嚇尿了。。等我洗個澡先。。。

　　若是你願意犧牲本身的全部時間去學習，研究，實踐。我相信可以徹底掌握裏面的全部東西，只不過這是個漫長的過程。我以爲這張圖仍是很形象的，左邊表明工程開發，右邊表明算法開發。大公司基本分工很是明確。但在這個多元化的社會上，假若你能掌握別人沒有掌握，或者須要很高學習成本才能掌握的知識，那麼你將會閃閃發光，猶如黑暗中的螢火蟲，稻田裏的金龜子~猶如太陽的光暈，猶如早起照射窗臺的第一縷陽光，猶如~~好了好了。。咱們迴歸正題。

　　不少人說，這麼多我勒個去，我不知道怎麼學啊，從哪裏開始啊。。那麼我說下到如今爲止，我的的學習之旅（僅我的）：

　　一、從2014年開始接觸hadoop。。這是啥？買了本書（Hadoop Yarn權威指南）。。徹底懵逼看不懂，可是堅持下來把它看完，而後開始搭建環境，單節點，當運行起來的一瞬間簡直爽死我了~（注意，你要有Linux基礎）

　　二、開始看編程模型,MapReduce,MapReduce是啥。。好高大上啊，人老是對於未知的事物比較恐懼，但是恐懼也要看啊~看不懂也要看啊~搭開發環境，各類坑，我還沒畢業好麼，那麼多工具，我怎麼知道怎麼用。。這報的啥錯啊。。開始各類折騰。。

　　三、產品經理說，咱們要用spark！那是在2014年年末了，但其實最初調研的時候選用shark，由於那時候spark尚未商用，但最終仍是用了spark，在決定之時忽然spark1.3開始商用，加入DataFrame(固然那時候我是徹底懵逼，這是啥？）。。受經理培養，我開始Spark之旅。那時對hadoop已經有了基本認知。

　　四、進入2015年，項目已經開始進行spark開發，固然對於應用開發而言，徹底從0開始，因而咱們開始各類不要臉的去請教傳說中的橘雲分佈式團隊，我每次出差都買點東西孝敬他們老人家哈哈哈哈~~一點一點的學理論，一點一點的嘗試，一點一點的問。這裏要說下，作技術的，特別怕對方看不起本身，不敢問，怕被嘲笑。 其實真正熱愛技術的，會對技術極度的熱情，你要記住，丟人沒有什麼，再簡單的學會了就是本身的了~因而開始買關於Spark的書，開始總結各類知識點，嘗試，總結，嘗試。

　　五、2015年畢業前夕，第一次去湖北項目上線，將傳統的應用系統改造爲支持spark的大數據項目。對於我這種初出茅廬的小菜比而言，我勒個擦，真實集羣，數據中心180多臺的集羣，批處理，流處理，看得我眼花繚亂，好懼怕啊~~怕毛啊~直接就上了~部署各類調參數，出問題了甚至弄到晚上2點~北京的同事遠程支持，各類前臺後臺的問題目不暇接，最終成功的上線~（這裏有一點，搞技術的喜歡知根問底，在現場環境中，尤爲是這種徹底大數據環境，你要的就是不要臉的去問，一點不明白就問，這樣收穫的即是對整個大數據體系的流程與過程的熟知）

　　六、2015年末，項目已經正常運行了一段時間了，在工做中不忘補習各類知識，完善知識體系，而後忽然一個點，我彷佛全通了。雖然這只是皮毛~慢慢的。。各個省市的上線，讓我開始以爲就那些東西（這是危險的預兆）

　　七、2016年初，因爲某些緣由，來到了上海某銀行，這裏是徹底的大數據環境，當時其實有點懼怕，爲何呢，由於雖然創建了大數據知識體系，可是實戰經驗仍是不足而我更多的是作spark，二話不說直接上手操練，各類折磨的天天12點之後還亮着燈。學習hbase,redis,storm,kafka以及更深刻hadoop。。有時甚至有放棄的想法，在巨大的壓力下，天天頂着紅牛，學，練習，學，練習。

　　八、現在，某個時刻，忽然又一次以爲，貌似我全都會了！彷彿腦海中可以感覺到數據在各個組件中的傳輸，網絡中的傳輸，何時會OOM，JVM佔用，網絡通訊。。。也再一次開始應用spark,這一次，讓我激動地天天激情四射，爲何呢？由於我發現曾經不少不懂的知識點，貌似全通了。。在寂靜的夜晚，想着身邊離開的人，默默地留下了眼淚，你怎麼不等我。

　　總結：技術，是在不斷地更新迭代，可是必定要有一套本身的知識體系，本身的理解，千萬不要認爲啊~我會寫這個MapReduce了，我會寫spark後臺代碼了，我會用hbase了，我會storm了，就沾沾自喜，看的更遠一點更深一點，你會發現，原來我啥都不會，學無止境！ 堅持！堅持！堅持！堅持！再堅持！用你堅韌的毅力與激情，感染身邊的人，影響身邊的人。