0基礎到大數據架構師（Hadoop+Spark）學習路線圖

大數據時代掌握大數據概念和核心應用場景，完全認識到大數據的重要性，以及可以有效把握將來大數據的發展方向。可以掌握hadoop的技術架構和底層原理，對分佈式架構可以作到更深刻的認識和體會，尤爲是yarn框架的底層事件分發機制、輪詢機制、多線程以及nio的組合應用。還有更重要的基於google的IPC通訊技術。可以獨立搭建hadoop集羣、配置以及管理。可以靈活應用hadoop生態系統的各類技術進行數據處理。其中對Linux的技術知識也不可小覷，可以搭建各類倉庫本地，好比ubuntu軟件源、ambari、maven等等一系列組件，都是在企業中極其適用的技術。掌握spark和核心技術尤爲是RDD的原理與使用，還有scala語言的掌握。

學習建議：
大數據技術內容很是廣、且編程手段應用技術之深是普通項目沒法可比。所以建議你們，前期的java基礎部分必定要打牢，務必跟隨咱們的課程作的踏實掌握，所有吸取，每一個案例和代碼你們必定要手動操做完成，實踐出真知是至理名言，同時咱們會提供大量的技術書籍，你們在課餘時間可以儘可能閱讀，增長知識面的寬度和深度。

學習路線圖：

Hadoop基礎環境搭建與3種模式配置

Hadoop第一季--基礎知識實戰視頻課程
001.Hadoop介紹
002.Hadoop基礎課程VMware安裝
003.Hadoop基礎課程Ubuntu下載與虛擬機下安裝
004.Hadoop基礎課程Ubuntu經常使用命令
005.Hadoop基礎課程Ubuntu目錄和權限
006.Hadoop基礎課程Ubuntu軟件包桌面程序以及加強工具
007.Hadoop基礎課程Ubuntu本地軟件源與ISO製做.
008.Hadoop基礎課程Ubuntu克隆與Mac生成&網絡鏈接方式
009.Hadoop在Ubuntu下安裝JDK
010.Hadoop在Ubuntu下安裝Hadoop

Hadoop第二季-1.配置獨立模式視頻課程
011.Hadoop配置獨立模式
Hadoop第二季-2.僞分佈式模式的配置視頻課程
012.Hadoop配置僞分佈式模式
Hadoop第二季-3.配置徹底分佈式模式視頻課程
013.Hadoop配置徹底分佈模式之修改虛擬機名稱和目錄
014.Hadoop配置徹底分佈模式之修改登陸提示和主機名
015.Hadoop配置徹底分佈模式之使用符號連接實現配置分離
016.Hadoop徹底分佈模式之克隆客戶機與ssh遠程無密登陸
017.Hadoop配置徹底分佈模式之IP設置與遠程拷貝與格式化啓動
win7下面配置環境以及mapreduce架構分析與應用

 

Hadoop第三季-Win7下免搭建Cygwin視頻課程
018.hadoop在Win7下免Cygwin安裝以及第三方加強軟件介入
019.Win7下免Cygwin安裝續與NativeBug解決與Dexpot

Hadoop第四季-架構分析實戰視頻課程
020.Hadoop架構分析之單節點體系
021.Hadoop架構分析之集羣結構分析
022.Hadoop架構分析之HDFS架構分析
023.Hadoop架構分析之NN和DN原生文檔解讀
024.Hadoop架構分析之啓動腳本分析

 

Hadoop第五季-啓動腳本分析視頻課程
024.Hadoop啓動腳本分析集羣id的兼容與start-allcmd講解
025.Hadoop啓動腳本分析start-dfs與hadoop-config
026.Hadoop啓動腳本分析hadoop.cmd命令
027.Hadoop啓動腳本分析數據格式化與hdfs.cmd命令
028.Hadoop啓動腳本分析mared和虛擬機參數的配置
029.Hadoop啓動腳本分析start-yarn命令
030.Hadoop啓動腳本分析yarn.cmd與yarn-evn.cmd命令
031.Hadoop架構分析之啓動腳本分析終極hdsfs部分
032.Hadoop架構分析之啓動腳本分析終極yarn部分

Hadoop第六季-MapReduce代碼實現案例視頻課程
033.Hadoop MapReduce初識
034.Hadoop MapReduce編寫Mapper類
035.Hadoop MapReduce編寫Reducer類
036.Hadoop MapReduce編寫主函數類
037.Hadoop MapReduce獨立模式運行程序

Hadoop第七季-MapReduce定製block限制+輸入切割+副本數視頻課程
038.Hadoop MapReduce集羣模式下運行程序
039.Hadoop MapReduce集羣模式調整配置與shell
040.Hadoop MapReduce集羣模式調整配置最小塊
041.Hadoop MapReduce集羣模式調整配置考查數據分佈
042.Hadoop MapReduce定製切割與副本數以及塊大小定製
043.Hadoop MapReduce集羣模式深刻定製切割與切割法則考查
044.win7下配置networks文件映射主機名和端口號利於網絡訪問
045.MapReduce原理之物理導航+eclipse安裝+後臺啓動+命令化
046.Hadoop MapReduce原理之Hadoop插件安裝+配置+驗證
047.Hadoop MapReduce原理之與大象裝進冰箱的類似點
048.Hadoop MapReduce原理之進入流程圖
049.Hadoop MapReduce原理之核心類Job和ResourceManager解讀
050.Hadoop MapReduce原理之核心類NodeManager和MRAppMaster解讀
051.Hadoop MapReduce原理核心類Yarn與MapTask與ReduceTask
052.Hadoop MapReduce原理之核心類RM與NM與AM的體系結構分析

Hadoop第八季-1.MapReduce原理探查準備視頻課程
044.Hadoop MR win7下配置networks文件
045.Hadoop MapReduce原理之物理導航等命令化操做
046.Hadoop MapReduce原理之Hadoop插件安裝+配置+驗證
Hadoop第八季--2.MapReduce原理探查與大象關進冰箱+流程圖視頻課程
047.Hadoop MapReduce原理之與大象裝進冰箱的類似點
048.Hadoop MapReduce原理之進入流程圖
Hadoop第八季-3.MapReduce原理探查覈心類整理分析視頻課程
049.Hadoop MapReduce原理之核心類Job和ResourceManager解讀
050.Hadoop MapReduce原理之核心類NodeManager和MRAppMaster解讀
051.Hadoop MR原理之核心類Yarn與MapTask與ReduceTask解讀
052.Hadoop MapReduce原理之核心類RM與NM與AM的體系結構分析

Hadoop第九季-1.MapReduce原理代碼實戰異常再現+Ant視頻課程
053.Hadoop MapReduce原理代碼實戰之錯誤信息展示於分析
054.Hadoop MapReduce原理代碼實戰之Ant使用
Hadoop第九季--2.MapReduce原理代碼實戰Job提交推演視頻課程
055.Hadoop MapReduce原理代碼實戰之Job提交推演
Hadoop第九季-3.MapReduce原理探查覈心類整理分析視頻課程
056.Hadoop MapReduce原理代碼實戰之Job初始化分析
057.Hadoop MapReduce原理代碼實戰之ResourceManager遠程調試
YARN調度框架事件與Hadoop底層IPC和RPC通訊原理解析

Hadoop第十季-YARN調度框架事件二次分發原理深度解析視頻課程
058.Hadoop Yarn框架底層事件分發機制概述
059.Hadoop Yarn框架底層事件分發調試準備
060.Hadoop Yarn框架底層事件分發調試Async分發器調試
061.Hadoop Yarn底層事件分發調試RMApp事件處理調試+狀態機變換
062.Hadoop Yarn框架底層事件分發調試之狀態機事件觸發原理

Hadoop第十一季-Hadoop底層IPC和RPC通訊原理解析視頻課程
063.Hadoop 底層IPC和RPC通訊原理解析

Ambari、ZooKeeper、Hbase與Scala應用介紹與應用

Ambari第一季-ambari介紹、安裝使用以及常見問題視頻課程
069.Ambari Hadoop集羣管理軟件之介紹
070.Ambari Hadoop集羣管理軟件之下載安裝配置啓動登
071.Ambari之疑難問題解決與Root帳戶無密登陸處理

Ambari第二季--集羣管理本地軟件棧構建與使用視頻課程
072.Ambari Hadoop集羣管理軟件之HDP軟件棧本地倉庫搭建
073.Ambari Hadoop集羣管理軟件之AmbariServer經過本地倉庫安裝
074.Ambari Hadoop集羣管理軟件之Hadoop集羣本地化安裝

ZooKeeper第一季-ZK簡介、下載與安裝視頻課程
1 001.ZooKeeper簡介
2 002.ZooKeeper下載與安裝

ZooKeeper第二季-Leader宕機演示、nc、zkCli命令使用視頻課程
003.ZooKeeper分佈式集羣配製與Leader宕機測試
004.ZooKeeper分佈式集羣配製與nc Linux命令的網絡通訊利器
005.ZooKeeper分佈式集羣配製與zk四字符客戶端指令
006.ZooKeeper分佈式集羣配製與zkCli.sh客戶端程序使用

ZooKeeper第三季-ZK客戶端編程API使用、觀察者模式回調處理視頻課程
007.ZooKeeper分佈式集羣協同之客戶端API調用
008.ZooKeeper分佈式集羣協同之客戶端API建立和刪除path
009.ZooKeeper客戶端API觀察者模式與事件回調處理
HBase內功修煉實戰視頻課程
001.HBase介紹
002.HBase安裝、體驗
003.HBase徹底分佈式配置、啓動與shell命令查看
004.HBase使用客戶端API動態建立Hbase數據表並在Hbase下導出執行
005.HBase使用客戶端API完成數據庫CRUD操做
006.HBase使用新型API類庫進行數據訪問操做
007.HBase新API大批量插入以及hbase表結構與Hadoop文件系統
008.HBase與ZooKeeper組合應用以及在shell下操縱namespace.avi
Scala精通與實戰編程視頻課程
01.Scala介紹與安裝
02.Scala基礎
03.Scala操做符重載與Apply與包導入
04.Scala控制結構與函數
05.Scala異常處理與過程與延遲初始化
06.Scala數組與多維數組

征服Spark

征服Spark（一）入門與提升篇視頻課程
01.Spark簡介
02.Spark預編譯版本下載安裝與啓動
03.Spark體驗shell操做與wc操做與RDD介紹
04.Spark經過Maven進行源碼編譯安裝
05.Spark搭建Maven本地倉庫服務器
06.Spark經過本地Maven倉庫服務器進行編譯
07.Spark官方doc的宏觀描述和優點說明
08.Spark獨立集羣模式部署和啓動
09.Spark Master和Worker的webui查看以及FIFO做業調度講解
10.Spark獨立集羣模式端口修改

征服Spark（二）Spark項目編譯運行篇視頻課程
11.Spark shell應用於addFile
12.Spark程序build的宏觀介紹
13.經過交互模式初始化Maven項目
14.經過參數指定方式直接初始化Maven項目
15.準備java源文件到本身的源碼包中
16.設置pom.xml文件依賴插件以及與自由倉庫目錄樹的對應關係
17.使用mvn package指令進行編譯並進行打包
18.使用java指令添加spark類庫運行Spark程序
19.使用maven的exec執行插件運行java程序
20.配置eclipse的maven插件使用本地maven倉庫服務器
21.eclipse之下maven項目的配置編譯運行
22.eclipse之Scala插件的卸載與安裝
23.eclipse下構建Scala程序以及運行
24.經過Scalac命令手動編譯scala程序並執行
25.命令行下經過maven編譯運行Scala程序
26.eclipse下經過maven+scala插件用Scala開發開發Spark應用
學習路線圖：http://edu.51cto.com/roadmap/view/id-89.html