學hadoop須要什麼基礎

最近一段時間一直在接觸關於hadoop方面的內容，從剛接觸時的一片空白，到如今也可以說清楚一些問題。這中間到底經歷過什麼只怕也就是隻有通過的人才會體會到吧。前幾天看到有我的問「學hadoop須要什麼基礎」，這個問題好像至今還沒好好細想過，多是由於身邊有大神在帶着我學習hadoop的緣故，也就沒想過這樣的一個簡單的問題。

咱們目前在用的hadoop版本並非原生態的版本，咱們在用的是國內的一款商業發行版，叫DKhadoop。大快搜索推出的一款原生態開發的Hadoop集成生態環境。從使用的效果上看DKhadoop與開源環境是能夠作到徹底兼容的。準備過段時間抽個空，試着寫一下以DKhadoop爲切入點關於學習hadoop須要掌握什麼基礎。

【DKhadoop基礎技術架構圖】

關於學hadoop須要什麼基礎這樣的問題，看到一篇關於介紹學習原生hadoop的分享，我的以爲仍是很不錯的一篇文章。這裏也分享給你們，供參考之用。

關於學習hadoop須要具有什麼基礎知識，首先應該從總體瞭解hadoop，包括hadoop是什麼，可以幫助咱們解決什麼問題，以及hadoop的使用場景等。在有了總體上的瞭解後，就能夠開始系統的學習hadoop。固然，如果可以結合一些實踐性的東西學習會更有助於理解hadoop。

學習hadoop須要什麼基礎：

Linux：

• 須要可以熟練操做linux經常使用命令以及網絡配置；
• 熟悉用戶以及權限管理操做；
• 須要熟悉軟件包以及系統命令管理；
• 還須要學習一下shell編程。

Java：

• 須要具有必定的javase基礎知識；
• 若是懂java web及各類框架知識那就更好了。

虛擬機：

• 須要掌握虛擬機；
• 須要安裝linux操做系統
• 須要配置虛擬機網絡

除了上述這幾個方面，咱們還須要瞭解hadoop的單機模式、僞分佈模式和分佈式模式的搭建方式。瞭解MapReduce分佈式計算框架、Yarn集羣資源管理和調度平臺、hdfs分佈式文件系統、hive數據倉庫、HBase實時分佈式數據庫、Flume日誌收集工具、sqoop數據庫ETL工具、zookeeper分佈式協做服務、Mahout數據挖掘庫等。