[spark streaming]Exactly-One的事務處理和不重複輸出徹底掌握

Spark Streaming事務處理圖分析:  1. Receiver不斷地接收數據,收到數據後彙報給driver,driver收到數據後爲了數據安全進行checkpoint,checkpoint中有:Configuration,Block MetaData,DStreamGraph,未處理完Job和等待中的Job  2. job的執行完全基於spark core的調試模式  3. Receiv
相關文章
相關標籤/搜索