Storm流計算從入門到精通之技術篇(高併發策略、批處理事務、Trident精解、運維監控、企業場景)
課程講師:Cloudy
課程分類:大數據
適合人羣:初級
課時數量:28課時
用到技術:Storm集羣、Zookeeper集羣等
涉及項目:網站PV、UV案例實戰、其餘案例
諮詢qq:1840215592
課程亮點:
一、Storm全面、系統、深刻講解,採用最新的穩定版本Storm 0.9.0.1 ;
二、注重實踐,對較抽象難懂的技術點如Grouping策略、併發度及線程安全、批處理事務、DRPC、Storm Trident均結合企業場景開發案例進行講解,
讓學員以爲簡單易懂;
三、分享積累的經驗和技巧,從架構的角度剖析場景和設計實現方案;
四、講師Cloudy具備豐富的電商雲平臺架構經驗,對流計算更是涉足早、沉澱深,課程依然沿用重實踐、重實戰的風格。
學習課程須要具備:Java基礎、Linux基礎
學習課程能夠提高的技能(Storm除外):Zookeeper、Java、Linuxhtml
Storm入門視頻教程詳細查看:http://***/goods-427.html
課程大綱:
一、Storm簡介和課程介紹
二、Storm原理和概念詳解
三、Zookeeper集羣搭建及基本使用
四、Storm集羣搭建及測試
五、API簡介和入門案例開發
六、Spout的Tail特性、storm-starter及maven使用、Grouping策略
七、實例講解Grouping策略及併發
6種分組策略詳解
併發度與線程安全
八、併發度詳解、案例開發(高併發運用)
高併發xia住重線程安全
fieldsGrouping案例
九、案例開發——計算網站PV
經過2種方式實現彙總型計算。
十、案例優化引入Zookeeper鎖控制線程操做
十一、計算網站UV(去重計算模式)
去重計算模式實戰講解
十二、【運維】集羣統一啓動和中止shell腳本開發
開發Storm集羣統一啓動和中止shell,該腳本在運維中很是有用和高效。
1三、批處理事務原理詳解
Storm事務工做原理深刻講解
1四、Storm事務API及案例分析
Storm事務相關API詳解
Storm事務案例分析
1五、Storm事務案例實戰之 ITransactionalSpout
Storm事務案例開發
ITransactionalSpout的實現
1六、Storm事務案例升級之按天計算
結合企業場景,案例升級進行按天計算
1七、Storm分區事務案例實戰
案例之IPartitionedTransactionalSpout的實現和運用
1八、Storm不透明分區事務案例實戰
案例之IOpaquePartitionedTransactionalSpout 的實現和運用
1九、DRPC精解和案例分析
DRPC工做原理精講
DRPC案例分析
20、Storm Trident 入門
Trident是Storm基礎API的抽象封裝,等同於基於Hadoop的Pig。
Trident框架功能強大,調用簡單,是Storm開發的利器。
本節講述Trident編程模式和案例分析。
2一、Trident API和概念
Trident相關API一覽,尤爲講述3類Spout的變化
相關概念術語
2二、Storm Trident實戰之計算網站PV
採用簡單企業場景進行Storm Trident實戰開發
2三、ITridentSpout、FirstN(取Top N)實現、流合併和Join
ITridentSpout實現講解
FirstN(取Top N)實現原理
FirstN(取Top N)實現案例
流合併和Join
投影、調用鏈使用
2四、Storm Trident之函數、流聚合及核心概念State
函數、流聚合及各種流輸出類型
Trident核心概念State精講
2五、Storm Trident綜合實戰一(基於HBase的State)
Storm Trident綜合實戰,自定義開發HBase版State,同時實現非事務、事務、不透明事務 3中語義。
經過對State的深刻理解,對理解Trident編程模型和靈活Trident開發頗有幫助。
2六、Storm Trident綜合實戰二
2七、Storm Trident綜合實戰三
2八、Storm集羣和做業監控告警開發
該監控程序功能
一、能夠對Storm集羣主節點、工做節點狀態監控
二、做業監控,Topology非法停止時發出告警shell