秦凱新技術社區-大數據實戰系列滾動更新目錄

本套商業實戰系列一直會滾動更新，敬請期待

1 SPARK實戰系列

1.1 Spark Core 商業源碼實戰系列目錄

• Spark商業環境實戰-Spark內置框架rpc通信機制及RpcEnv基礎設施
• Spark商業環境實戰-Spark事件監聽總線流程分析
• Spark商業環境實戰-Spark存儲體系底層架構剖析
• Spark商業環境實戰-Spark底層多個MessageLoop循環線程執行流程分析
• Spark商業環境實戰-Spark一級資源調度Shedule機制及SpreadOut模式源碼深刻剖析
• Spark商業環境實戰-Spark二級調度系統Stage劃分算法和最佳任務調度細節剖析
• Spark商業環境實戰-Spark任務延遲調度及調度池Pool架構剖析
• Spark商業環境實戰-Task粒度的緩存聚合排序結構AppendOnlyMap詳細剖析
• Spark商業環境實戰-ExternalSorter 外部排序器在Spark Shuffle過程當中設計思路剖析
• Spark商業環境實戰-ShuffleExternalSorter外部排序器在Spark Shuffle過程當中的設計思路剖析
• Spark商業環境實戰-Spark ShuffleManager內存緩衝器SortShuffleWriter設計思路剖析
• Spark商業環境實戰-Spark ShuffleManager內存緩衝器UnsafeShuffleWriter設計思路剖析
• Spark商業環境實戰-Spark ShuffleManager內存緩衝器BypassMergeSortShuffleWriter設計思路剖析
• Spark商業環境實戰-Spark Shuffle 核心組件BlockStoreShuffleReader內核原理深刻剖析
• Spark商業環境實戰-Spark Shuffle 管理器SortShuffleManager內核原理深刻剖析
• Spark商業環境實戰-Spark PersistenceEngine持久化引擎與領導選舉代理機制內核原理深刻剖析
• Spark商業環境實戰-Spark Shuffle專業級核心參數調優源碼深刻剖析
• [Spark商業環境實戰-Spark 內存管理體系UnifiedMemoryManager源碼深刻剖析 ]
• [Spark商業環境實戰-Spark 內存管理體系StaticMemoryManager源碼深刻剖析 ]
• [Spark商業環境實戰-Spark 基於JVM 統一內存使用內幕源碼深刻剖析 ]
• [Spark商業環境實戰-Spark 基於Tungsten內存分配器的管理機制內幕源碼深刻剖析 ]
• [Spark商業環境實戰-Spark 基於Task粒度的內存管理器及內存消費者源碼深刻剖析]
• [Spark商業環境實戰-Spark Shuffle Block 索引與數據解析組件IndexShuffleBlocakResolver源碼深刻剖析 ]
• [Spark商業環境實戰-Spark Block數據傳輸服務NettyBlockTransferService 源碼深刻剖析 ]
• [Spark商業環境實戰-Spark 基於Yarn的資源申請過程源碼深刻剖析 ]
• [Spark商業環境實戰-Spark 基於K8s的資源申請流程源碼深刻剖析 ]

1.2 SparkStreaming 商業源碼實戰系列目錄

• Spark商業環境實戰-StreamingContext啓動流程及Dtream 模板源碼深度剖析
• Spark商業環境實戰-ReceiverTracker 啓動過程及接收器 receiver RDD 任務提交機制源碼剖析
• Spark商業環境實戰-SparkStreaming數據流從currentBuffer到Block定時轉化過程源碼深度剖析
• Spark商業環境實戰-SparkStreaming之JobGenerator週期性任務數據處理邏輯源碼深度剖析
• Spark商業環境實戰-SparkStreaming不間斷運行模式下的流式數據清理機制源碼深度剖析
• [Spark商業環境實戰-SparkStreaming Graph 處理鏈迭代過程源碼深度剖析]
• [Spark商業環境實戰-SparkStreaming容錯機制源碼深度剖析]
• [Spark商業環境實戰-SparkStreaming之No Receiver方式基於Kafka 拉取內幕源碼深度剖析]
• [Spark商業環境實戰-SparkStreaming反壓機制控制消費速率內幕源碼深度剖析]

1.3 SparkSQL 商業源碼實戰系列目錄

• Spark商業源碼實戰-SparkSQL 之 Shuffle Join 內核原理及應用深度剖析
• [Spark商業源碼實戰-SparkSQL執行全過程內部架構解析]
• [Spark商業源碼實戰-SparkSQL編譯器及語法樹架構分析]
• [Spark商業源碼實戰-SparkSQL邏輯計劃及優化器Optimizer深刻剖析]
• [Spark商業源碼實戰-SparkSQL物理計劃及Ordering體系深刻剖析]
• [Spark商業源碼實戰-SparkSQL聚合過程Aggregation及窗口函數深刻剖析]

1.3 Spark商業應用實戰系列目錄

• Spark商業應用實戰-Spark聚合開窗與自定義累加器的高級應用
• Spark商業應用實戰-Spark自定義排序規則以及SQL高級應用
• Spark商業應用實戰-SparkStreaming窗口滑動以及拉鍊實現轉化率的高階應用
• Spark商業應用實戰-Spark資源申請肯定內存和Cpu數量案例實戰

1.4 Spark商業調優實戰系列目錄

• Spark商業調優實戰-Spark數據傾斜案例測試及調優準則深刻剖析
• Spark商業調優實戰-Spark資源調度參數調優深刻剖析
• Spark商業應用實戰-Spark應用程序開發參數調優深刻剖析
• Spark商業調優實戰-Spark Shuffle過程參數優化深刻剖析
• Spark商業調優實戰-Spark Streaming調優參數及最佳實踐深刻剖析

1.5 Spark商業ML實戰系列目錄

• Spark商業ML實戰-Spark統計指標以及最優參數評估指標深刻剖析
• Spark商業ML實戰-Spark ML數值類型與數據彙總基礎統計算法詳解
• Spark商業ML實戰-Spark ML基於文本的特徵提取實戰技巧
• Spark商業ML實戰-Spark ML特徵轉換及處理算子實戰技巧
• Spark商業ML實戰-Spark ML Pipeline模型選擇及超參數評估調優深刻剖析
• Spark商業ML實戰-Spark ML自定義選擇最優模型算法深刻剖析
• Spark商業ML實戰-Spark ML流式在線學習模型初步構建分析
• Spark商業ML實戰-Spark ML基於Iris數據集進行數據建模及迴歸聚類綜合分析
• [Spark商業ML實戰-Spark ML流回歸和流K-均值模型構建及性能評估綜合案例分析]
• [Spark商業ML實戰-Spark ML基於RDD進行特徵工程數據規整與轉換深刻剖析]
• [Spark商業ML實戰-Spark ML基於推薦算法進行模型訓練和模型評估深刻剖析]
• [Spark商業ML實戰-Spark ML基於智慧交通模型在線學習及實時預測案例深刻剖析]

1.6 Flink 牛刀小試實戰系列目錄

• Flink牛刀小試-Flink 集羣運行原理兼部署及Yarn運行模式深刻剖析
• Flink牛刀小試-Flink Window類型及使用原理案例實戰
• Flink牛刀小試-Flink Broadcast 與 Accumulators 應用案例實戰
• Flink牛刀小試-Flink與SparkStreaming之Counters& Accumulators 累加器雙向應用案例實戰
• Flink牛刀小試-Flink分佈式緩存Distributed Cache應用案例實戰
• Flink牛刀小試-Flink狀態管理與checkPoint數據容錯機制深刻剖析
• Flink牛刀小試-Flink Window分析及Watermark解決亂序數據機制深刻剖析
• Flink牛刀小試-Flink Restart Strategies 重啓策略機制深刻剖析
• Flink牛刀小試-Flink CheckPoint狀態點恢復與savePoint機制對比剖析
• Flink牛刀小試-Flink SQL Table 咱們一塊兒去看2018中超聯賽
• Flink牛刀小試-Flink基於Kafka-Connector 數據流容錯回放機制及代碼案例實戰
• Flink牛刀小試-Flink DataStreamAPI與DataSetAPI應用案例實戰
• [Flink牛刀小試-Flink並行度 Parallel及Slots關係原理深刻剖析]
• [Flink牛刀小試-Flink集羣HA配置及高可用機制深刻剖析]
• [Flink牛刀小試-Flink批處理與流處理案例實戰深刻剖析]
• [Flink牛刀小試-Flink綜合性應用案例實踐及垂直業務深刻剖析]

1.7 Hadoop商業環境實戰系列目錄

• Hadoop商業環境實戰-Hadoop分佈式計算架構流程分析
• Hadoop商業環境實戰-HDFS NameNode 宕機元數據一致保障及SNN機制深刻研究
• Hadoop商業環境實戰-HDFS NameNode 高併發數據讀寫架構及QJM選舉深刻研究
• [Hadoop商業環境實戰-Hadoop YARN 資源調度機制的架構設計研究 ]
• [Hadoop商業環境實戰-Hadoop YARN 多租戶體系深刻剖析研究 ]
• [Hadoop商業環境實戰-Hadoop HDFS 副本存放磁盤選擇策略深刻剖析]
• [Hadoop商業環境實戰-Hadoop HDFS上刪除文件恢復方法深刻剖析]
• [Hadoop商業環境實戰-Hadoop HDFS 解決 HDFS 小文件問題深刻剖析]
• [Hadoop商業環境實戰-Hadoop HDFS 副本機制對數據一致性方面的保障性實驗測試 ]
• [Hadoop商業環境實戰-大數據lamda架構在實際項目開發過程當中的應用深刻剖析 ]

1.8 大數據ML樣本集案例實戰

• 大數據ML樣本集案例實戰-Python環境安裝及數據基本預處理
• 大數據ML樣本集案例實戰-信用卡欺詐行爲邏輯迴歸數據分析
• 大數據ML樣本集案例實戰-數據相關性可視化及交叉驗證預測分析
• 大數據ML樣本集案例實戰-基於邏輯迴歸及隨機森林的多分類問題數據分析
• 大數據ML樣本集案例實戰-基於MNIST數據集實現2層CNN神經網絡案例實戰
• 大數據ML樣本集案例實戰-時間序列數據的預處理及基於ARIMA模型進行趨勢預測
• 大數據ML樣本集案例實戰-基於僱員流失率數據進行多分類模型訓練及閾值調整實踐
• 大數據ML樣本集案例實戰-基於球員和裁判數據進行探索性數據分析實踐
• 大數據ML樣本集案例實戰-Python基礎算法庫及可視化庫使用實踐
• 大數據ML樣本集案例實戰-數據處理利器python與scala基本數據結構對比分析1
• 大數據ML樣本集案例實戰-Python技術棧與Spark大數據平臺整合實戰
• 大數據ML樣本集案例實戰-數據處理利器python與scala面向對象對比分析2
• 大數據ML樣本集案例實戰-Python技術棧與Spark大數據平臺整合實戰
• 大數據ML樣本集案例實戰-Python技術棧與Spark交叉數據分析雙向整合技術實戰
• 大數據ML樣本集案例實戰-Python技術棧與Spark交叉數據分析雙向整合進階實戰

1.9 深度學習牛刀小試

• 深度學習牛刀小試-深度學習基礎知識入門及案例代碼實戰
• 深度學習牛刀小試-TensorFlow基礎及MNIST數據集邏輯迴歸應用實踐

2 KAFKA實戰系列

2.1 kafka 商業環境實戰系列目錄

• kafka 商業環境實戰-kafka生產環境規劃
• kafka 商業環境實戰-kafka生產者和消費者吞吐量測試
• kafka 商業環境實戰-kafka生產者Producer參數設置及參數調優建議
• kafka 商業環境實戰-kafka集羣管理重要操做指令運維兵書
• kafka 商業環境實戰-kafka集羣Broker端參數設置及調優準則建議
• kafka 商業環境實戰-kafka之Producer同步與異步消息發送及事務冪等性案例應用實戰
• kafka 商業環境實戰-kafka Poll輪詢機制與消費者組的重平衡分區策略剖析
• kafka 商業環境實戰-kafka Rebalance 機制與Consumer多種消費模式案例應用實戰
• kafka 商業環境實戰-kafka集羣消息格式之V1版本到V2版本的平滑過渡詳解
• kafka 商業環境實戰-kafka ISR設計及水印與leader epoch副本同步機制深刻剖析
• kafka 商業環境實戰-kafka日誌索引存儲及Compact機制深刻剖析
• kafka 商業環境實戰-kafka精確一次語義EOS的原理深刻剖析
• kafka 商業環境實戰-kafka集羣Controller競選與責任設計思路架構詳解
• kafka 商業環境實戰-kafka集羣Broker端基於Reactor模式請求處理流程深刻剖析
• kafka 商業環境實戰-kafka集羣Producer基本數據結構及工做流程深刻剖析
• kafka 商業環境實戰-kafka集羣基於吞吐量指標進行性能調優實踐
• kafka 商業環境實戰-kafka集羣基於延時指標進行性能調優實踐
• kafka 商業環境實戰-kafka集羣基於持久性指標進行性能調優實踐
• kafka 商業環境實戰-kafka集羣基於可用性指標進行性能調優實踐
• [kafka 商業環境實戰-kafka集羣Wire Protocol通訊協議以及消息請求響應機制剖析]
• [kafka 商業環境實戰-kafka MirrorMaker雙向數據傳輸災備機制原理深刻剖析]

3 OLAP實戰系列

3.1 OLAP商業環境實戰系列目錄

• OLAP商業環境實戰-Kylin官方案例詳細剖析及剪枝優化
• Spark商業應用實戰-Kylin OLAP 綜合解決方案環境部署及雙引擎切換實踐
• OLAP商業環境實戰-Presto基於MPP架構的部署及使用技術詳解
• OLAP商業環境實戰-HBase數據模型深刻剖析
• OLAP商業環境實戰-HBase的Compact參數設置及數據讀寫流程剖析
• OLAP商業環境實戰-HBase 內核組件協調及RegionServer JVM參數調優
• OLAP商業環境實戰-HBase LRUBlockCache與BucketCache二級緩存機制原理剖析與參數調優
• OLAP商業環境實戰-HBase生產環境集羣容量規劃最優配置
• OLAP商業環境實戰-HBase Memstore數據刷寫與阻塞機制深刻剖析及參數優化
• OLAP商業環境實戰-HBase HFile Compact多種合併策略原理剖析及場景建議
• OLAP商業環境實戰-HBase HFile Compact吞吐量參數控制優化剖析
• OLAP商業環境實戰-HBase 阻塞急救與朱麗葉暫停線上環境解決方案
• OLAP商業環境實戰-HBase Memstore專屬JVM策略MSLAB機制深刻剖析
• [OLAP商業環境實戰-HBase RegionServer 服務器宕機數據恢復機制深刻分析]
• [OLAP商業環境實戰-HBase Region-In-Transition（RIT）機制深刻分析]
• [OLAP商業環境實戰-HBase RegionServer Group 多租戶隔離技術機制深刻分析]
• [OLAP商業環境實戰-HBase 對象存儲MOB壓縮分區策略深刻分析]
• [OLAP商業環境實戰-HBase協處理器機制機制及案例實戰]
• [OLAP商業環境實戰-HBase BulkLoad海量數據處理深刻分析]

4 DW實戰系列

4.1 DW商業環境實戰系列目錄

• DW商業環境實戰-數據倉庫模型與緩慢變化維度技術深度剖析
• [ DW商業環境實戰-維度表技術之角色扮演維度深度剖析 ]
• [ DW商業環境實戰-維度表技術之維度子集深度剖析 ]
• [ DW商業環境實戰-維度表技術之層次維度深度剖析 ]
• [ DW商業環境實戰-維度表技術之退化維度深度剖析 ]
• [ DW商業環境實戰-維度表技術之分段維度深度剖析 ]
• [ DW商業環境實戰-事實表技術之週期快照與累積快照深度剖析 ]
• [ DW商業環境實戰-事實表技術之無事實的事實表深度剖析 ]
• [ DW商業環境實戰-事實表技術之累積度量剖析 ]

5 數理統計(Mathematical Statistics)實戰系列

• [ MS商業環境實戰-大數據統計理論之中心極限定律深度剖析 ]
• [ MS商業環境實戰-大數據統計理論之隨機梯度降低法深度剖析 ]

6 物聯網IOT通信實戰系列

• [ IOT商業環境實戰-Netty消息協議TCP/IP深度剖析 ]
• [ IOT商業環境實戰-Netty消息協議WebSocket深度剖析 ]
• [ IOT商業環境實戰-Netty之NIO Select模型深度剖析 ]
• [ IOT商業環境實戰-基於Netty的RPC遠程過程調用內核深度剖析 ]
• [ IOT商業環境實戰-基於Netty的消息服務器如何實現內核深度剖析 ]
• [ IOT商業環境實戰-RPC開源框架依賴注入如何實現分析 ]
• [ IOT商業環境實戰-RPC開源框架RPC異步回調機制實現深度剖析 ]

7 分佈式事務實戰系列

• [ 分佈式事務實戰系列-分佈式事務使用場景分析 ]
• [ 分佈式事務實戰系列-TCC事務一致性模型使用場景分析 ]