一天征服Spark！

Spark是當今大數據領域最活躍最熱門的高效的大數據通用計算平臺，基於RDD，Spark成功的構建起了一體化、多元化的大數據處理體系，在「One Stack to rule them all」思想的引領下，Spark成功的使用Spark SQL、Spark Streaming、MLLib、GraphX近乎完美的解決了大數據中Batch Processing、Streaming Processing、Ad-hoc Query等三大核心問題，更爲美妙的是在Spark中Spark SQL、Spark Streaming、MLLib、GraphX四大子框架和庫之間能夠無縫的共享數據和操做，這是當今任何大數據平臺都無可匹敵的優點。

       在實際的生產環境中世界上已經出現不少一千個以上節點的Spark集羣，以eBay爲例，eBay的Spark集羣節點已經超過2000個，Yahoo！等公司也在大規模的使用Spark，國內的淘寶、騰訊、百度、網易、京東、華爲、大衆點評、優酷土豆等也在生產環境下深度使用Spark。2014 Spark Summit上的信息，Spark已經得到世界20家頂級公司的支持，這些公司中包括Intel、IBM等，同時更重要的是包括了最大的四個Hadoop發行商都提供了對很是強有力的支持Spark的支持。

與Spark火爆程度造成鮮明對比的是Spark人才的嚴重稀缺，這一狀況在中國尤爲嚴重，這種人才的稀缺一方面是因爲Spark技術在2013、2014年才被大陸這邊的IT實際接觸，另外一方面是因爲匱乏Spark相關的足夠出色的中文資料和系統化的培訓。爲此，咱們在2014 Spark亞太峯會上推出「一天征服Spark！」課程，課程內容涵蓋了Spark企業級開發的全部精髓，內容按部就班而深刻淺出，適合全部對大數據感興趣的朋友學習。

 

課程介紹  

本課程是世界上第一Spark企業級最佳實踐課程，課程包含：

Spark的架構設計；

Spark編程模型；

Spark內核框架源碼剖析；

Spark的機器學習；

Spark的圖計算GraphX；

Spark SQL；

Spark實時流處理；

Spark on Yarn；

JobServer；

SparkR

Tachyon

最後以一個商業級別的Spark案例爲基礎，實戰展現商業級別Spark項目的架構設計、實現和優化；

 

培訓對象

1， 雲計算大數據從業者；

2， Hadoop使用者；

3，  系統架構師、系統分析師、高級程序員、資深開發人員；

4， 牽涉到大數據處理的數據中心運行、規劃、設計負責人；

5， 政府機關，金融保險、移動和互聯網等大數據來源單位的負責人；

6， 高校、科研院所涉及到大數據與分佈式數據處理的項目負責人；

7， 數據倉庫管理人員、建模人員，分析和開發人員、系統管理人員、數據庫管理人員以及對數據倉庫感興趣的其餘人員；

學員基礎

對大數據感興趣

王家林老師

中國目前惟一的移動互聯網和雲計算大數據集大成者；

雲計算大數據Spark亞太研究院院長和首席專家；

 

Spark亞太研究院院長和首席專家，Spark源碼級專家，對Spark潛心研究（2012年1月起）2年多後，在完成了對Spark的13不一樣版本的源碼的完全研究的同時不斷在實際環境中使用Spark的各類特性的基礎之上，編寫了世界上第一本系統性的Spark書籍並開設了世界上第一個系統性的Spark課程並開設了世界上第一個Spark高端課程（涵蓋Spark內核剖析、源碼解讀、性能優化和商業案例剖析）。Spark源碼研究狂熱愛好者，醉心於Spark的新型大數據處理模式改造和應用。

Hadoop源碼級專家，曾負責某知名公司的類Hadoop框架開發工做，專一於Hadoop一站式解決方案的提供，同時也是雲計算分佈式大數據處理的最先實踐者之一，Hadoop的狂熱愛好者，不斷的在實踐中用Hadoop解決不一樣領域的大數據的高效處理和存儲，如今正負責Hadoop在搜索引擎中的研發等，著有《雲計算分佈式大數據Hadoop實戰高手之路---從零開始》《雲計算分佈式大數據Hadoop實戰高手之路---高手崛起》《雲計算分佈式大數據Hadoop。實戰高手之路---高手之巔》等；

 

Android架構師、高級工程師、諮詢顧問、培訓專家；

通曉Android、HTML五、Hadoop，迷戀英語播音和健美；

致力於Android、HTML五、Hadoop的軟、硬、雲整合的一站式解決方案；

國內最先（2007年）從事於Android系統移植、軟硬整合、框架修改、應用程序軟件開發以及Android系統測試和應用軟件測試的技術專家和技術創業人員之一。

 

HTML5技術領域的最先實踐者（2009年）之一,成功爲多個機構實現多款自定義HTML5瀏覽器，參與某知名的HTML5瀏覽器研發；

超過10本的IT暢銷書做者；

     聯繫郵箱：18610086859@126.com
　　聯繫電話：18610086859

培訓內容

 

第一天

第1堂課：Spark的架構設計 1.1 Spark生態系統剖析 1.2 Spark的架構設計剖析 1.3 RDD計算流程解析 1.4 Spark的出色容錯機制   第2堂課：Spark編程模型 2.1 RDD 2.2 transformation 2.3 action 2.4 lineage 2.5寬依賴與窄依賴   第3堂課：深刻Spark內核 3.1 Spark集羣 3.2 任務調度 3.3 DAGScheduler 3.4 TaskScheduler 3.5 Task內部揭祕   第4堂課：深刻實戰RDD 4.1 DAG 4.2 深刻實戰各類Scala RDD Function 4.3 Spark Java RDD Function 4.4 RDD的優化問題   第5堂課：Spark的機器學習 5.1 LinearRegression 5.2 K-Means 5.3 Collaborative Filtering   第6堂課：Spark的圖計算GraphX 6.1 Table Operators 6.2 Graph Operators 6.3 GraphX   第7堂課：Spark SQL 7.1 Parquet支持 7.2 DSL 7.3 SQL on RDD   第8堂課：Spark實時流處理 8.1 DStream 8.2 transformation 8.3 checkpoint 8.4 性能優化   第9堂課：Spark on Yarn 9.1 Spark on Yarn的架構原理 9.2 Spark on Yarn的最佳實踐   第10堂課：JobServer 10.1 JobServer的架構設計 10.2 JobServer提供的接口 10.3 JobServer最佳實踐   第11堂課：SparkR 11.1 SparkR的原理與實現 11.2 SparkR動手實踐   第12堂課：Tachyon 12.1 Tachyon原理與架構 12.2 Tachyon動手實踐   第13堂課：Spark多語言編程 13.1 使用Scala編寫Spark程序 13.2使用Python編寫Spark程序 13.3使用Java編寫Spark程序   第14堂課：Spark項目案例實戰 14.1 Spark項目的最佳架構模式 14.2 案例的介紹和技術實現