實時技術之流式技術架構

流式計算框架的開源方案非常多，整體的機構相似，只是實現實時的方式存在差異，按照子系統功能劃分，分爲數據採集、數據處理、數據存儲、數據服務四個部分 數據採集 1）實時採集的數據一般來自業務服務器，分成兩大類： ① 數據庫變更日誌 ② 服務器引擎訪問日誌 2）不論是哪種日誌文件，採集完成後都已文件的形式保存，採集工具只要監控文件的變化就可以做到實時採集 3）處於對吞吐量的考慮，會以批次的方式進行採集，

>>阅读原文<<