想轉行大數據,如何開始學習 Hadoop?

學習大數據首先要了解大數據的學習路線,首先搞清楚先學什麼,再學什麼,大的學習框架知道了,剩下的就是一步一個腳印踏踏實實從最基礎的開始學起。java

這裏給你們普及一下學習路線:hadoop生態圈——Strom——Spark——算法。linux

因此學習hadoop是第一步,在這裏聲明一下,在學習hadoop以前須要有java基礎,由於hadoop底層全是用java寫的;還須要系統層面學會使用linux的基本shell命令,由於你學習hadoop得首先會安裝hadoop。Hadoop在大數據技術體系中的地位相當重要,Hadoop是大數據技術的基礎,對Hadoop基礎知識的掌握的紮實程度,會決定在大數據技術道路上走多遠。算法

下面談談一談如何開始學習hadoop。shell

本文的思路是:以安裝部署Apache Hadoop2.x版本爲主線,來介紹Hadoop2.x的架構組成、各模塊協同工做原理、技術細節。編程

安裝不是目的,經過安裝認識Hadoop纔是目的。服務器

Hadoop環境搭建,須要更多大數據學習視頻教程能夠點擊扣扣羣領取606859705
第一部分:Linux環境安裝架構

Hadoop是運行在Linux,雖然藉助工具也能夠運行在Windows上,可是建議仍是運行在Linux系統上,第一部分介紹Linux環境的安裝、配置、Java JDK安裝等。框架

第二部分:Hadoop本地模式安裝分佈式

Hadoop本地模式只是用於本地開發調試,或者快速安裝體驗Hadoop,這部分作簡單的介紹。ide

第三部分:Hadoop僞分佈式模式安裝

學習Hadoop通常是在僞分佈式模式下進行。這種模式是在一臺機器上各個進程上運行Hadoop的各個模塊,僞分佈式的意思是雖然各個模塊是在各個進程上分開運行的,可是隻是運行在一個操做系統上的,並非真正的分佈式。

第四部分:徹底分佈式安裝

徹底分佈式模式纔是生產環境採用的模式,Hadoop運行在服務器集羣上,生產環境通常都會作HA,以實現高可用。

第五部分:Hadoop HA安裝

HA是指高可用,爲了解決Hadoop單點故障問題,生產環境通常都作HA部署。這部分介紹瞭如何配置Hadoop2.x的高可用,並簡單介紹了HA的工做原理。

安裝過程當中,會穿插簡單介紹涉及到的知識。但願能對你們有所幫助。

上面環境的搭建只是講了一下框架,因爲時間有限,具體如何操做能夠留言與我交流。須要大數據學習視頻教程能夠進入扣扣羣領取
環境搭建好後,而後嘗試編寫mapreduce進行打包運行。當你對hadoop應用編程層面沒有疑問的時候,能夠嘗試去深刻了解mapreduce的核心思想,尤爲是map,shuffle,join,reduce等。

對於新手來講入門會遇到不少問題,這是正常的,不過遇到問題不可怕,只要想辦法解決了本身的能力就會一點一點的提升,在這裏預祝在大數據之路上求仙的夥伴們學有所成

相關文章
相關標籤/搜索