版本課堂筆記:第11課

ReceiverTacker 的架構設計通信

 

ReceiverTacker 接受數據後怎麼處理數據!vi

 

  1. ReceiverTacker 啟動 Receiver 的方式就是封裝成一個又一個的 Job,有多少個 Job 其實它就會啟動多少 Receiver,多少 Receiver 實際上就會分配多少個 Job, 每個 Job 裏面就有一個 Task, 而 Task 就是一條數據,裏的數據就是 Receiver 的數據。
  2. ReceiverTacker 在啟動 Receiver 的時候,它有一個 ReceiverSupervisor 當我們看見 ReceiverSupervisorImpl 做為它的本身的實現,ReceiverSupervisor 本身啟動的時候它會轉過來啟動Receiver,然後Receiver 會不斷的接受數據,然後轉過來通過 BlockGenerator 把本身接受的數據變成一個一個的 Block,背後本身有定時器,這個定時器會不斷的把數據存儲,但存儲有兩種方式:
    1. 通過BlockManager 存儲
    2. 先寫日誌就是 WAL 的方式
  3. 存儲過之後就是 ReceiverSupervisorImpl 會把存儲的數據的元數據匯報給 ReceiverTacker ,實際上是匯報 ReceiverTacker 中的 RPC 通訊消息實體,ReceiverTacker 通過 RPC接受到數據之後就轉過來進行下一步的消息管理工做了。
相關文章
相關標籤/搜索