浪院長 | spark streaming的使用心得

版權聲明：本文爲博主原創文章，未經博主贊成不得轉載。

https://blog.csdn.net/rlnLo2pNEfx9c/article/details/82505159

今天。主要想聊聊spark streaming的使用心得。

1，基本使用

主要是轉換算子。action，和狀態算子，這些事實上，就依照api手冊或者源代碼裏接口介紹結合業務來編碼。

事實上，想用好spark streaming 掌握spark core，spark rpc。spark 任務調度。spark 並行度等原理還很是有必要。

2。中間狀態緩存

說到中間算子你們確定都會想到UpdateStateByKey等狀態。裏面很是多注意事項，比方順序性。key的超時機制維護。這個適合數據量很少，尤爲是key的維度很少，value不大的狀況。

固然數據量上來了，要想維護中間狀態怎麼辦？事實上這個時候確定是第三方存儲，比方redis，alluxio。redis更適合那種key帶超時機制的。而且數據量確定不能過大。而alluxio就很是適合那種高吞吐量的，比方去重統計。

3，結果輸出

direct streaming能保證僅一次處理，但是要求輸出存儲支持密等性。或者主動將結果更改成存在更新不存在插入。固然，假設外部存儲系統支持事務那就更嗨。能實現恰一次處理。

實際上在offset維護這個層面上，spark streaming 不一樣版本號於kafka不一樣版本號結合實現有很是大不一樣。

4，監控告警及故障本身主動恢復

我認爲對於監控告警及故障本身主動恢復。重要程度不亞於業務場景。因爲再好的業務實現，架不住系統掛掉你不知道。因爲你總不能二十四小時盯着系統。而且很是多公司對故障本身主動恢復都有kpi。比方3min，人工去檢測故障並恢復不太可能，需要本身實現一套監控系統。

5，調優

調優對於spark streaming很是重要，因爲一個批次處理延遲就會致使job堆積。結果輸出延遲，深圳任務掛掉數據丟失。

調優事實上最注重對spark 原理把控，數據量的瞭解及資源和數據的關係。

6，源代碼

源代碼閱讀。爲了幫助你們更透徹的理解原理。主要會分三塊：

spark streaming 與kafka-0.8.2 direct stream。

spark streaming 與kafka-0.8.2 receiver based stream。

spark streaming 與kafka-0.10.2 direct api。

這些內容比較多。本週日晚上八點到十點浪尖準備搞個qq直播，對這些內容有興趣的小夥伴可以掃碼參團，費用不高。算是對浪尖創做的支持吧。

固然。準備是兩到三次，每次兩個小時。實際次數看效率。

參與直播的直接聯繫微信 158570986

固然，要是喜歡浪尖，更但願增長浪尖知識星球，球友可以免費參與直播。