Spark 源碼分析系列

以下，是 spark 源碼分析系列的一些文章彙總，持續更新中......

Spark RPC

spark 源碼分析之五--Spark RPC剖析之建立NettyRpcEnv

spark 源碼分析之六--Spark RPC剖析之Dispatcher和Inbox、Outbox剖析

spark 源碼分析之七--Spark RPC剖析之RpcEndPoint和RpcEndPointRef剖析

spark 源碼分析之八--Spark RPC剖析之TransportContext和TransportClientFactory剖析

spark 源碼分析之十--Spark RPC剖析之TransportResponseHandler、TransportRequestHandler和TransportChannelHandler剖析

spark 源碼分析之九--Spark RPC剖析之StreamManager和RpcHandler

spark 源碼分析之十一--Spark RPC剖析之TransportClient、TransportServer剖析

spark 源碼分析之十二--Spark RPC剖析之Spark RPC總結

Spark 存儲

spark 源碼分析之十三 -- SerializerManager剖析

spark 源碼分析之十四 -- broadcast 是如何實現的？

spark 源碼分析之十五 -- Spark內存管理剖析

spark 源碼分析之十六 -- Spark內存存儲剖析

spark 源碼分析之十七 -- Spark磁盤存儲剖析

spark 源碼分析之十八 -- Spark存儲體系剖析

Spark Streaming

spark streaming 接收kafka消息之一 -- 兩種接收方式

spark streaming 接收kafka消息之二 -- 運行在driver端的receiver

spark streaming 接收kafka消息之三 -- kafka broker 如何處理 fetch 請求

spark streaming 接收kafka消息之四 -- 運行在 worker 上的 receiver

spark streaming 接收kafka消息之五 -- spark streaming 和 kafka 的對接總結

Spark 任務調度

spark 源碼分析之一 -- RDD的四種依賴關係

spark 源碼分析之二 -- SparkContext 的初始化過程

spark 源碼分析之三 -- LiveListenerBus介紹

spark 源碼分析之四 -- TaskScheduler的建立和啓動過程

spark 源碼分析之十九 -- DAG的生成和Stage的劃分

spark 源碼分析之二十 -- Stage的提交

spark 源碼分析之二十一 -- Task的執行流程 

Spark任務計算

spark 源碼分析之二十二-- Task的內存管理

spark shuffle的寫操做之準備工做

spark shuffle寫操做三部曲之BypassMergeSortShuffleWriter

spark shuffle寫操做三部曲之UnsafeShuffleWriter

spark shuffle寫操做三部曲之SortShuffleWriter

spark shuffle讀操做