storm學習之入門篇（二）

Strom的簡單實現

 

Spout的實現

• 對文件的改變進行分開的監聽，並監視目錄下有無新日誌文件添加。
• 在數據獲得了字段的說明後，將其轉換成tuple。
• 聲明Spout和Bolt之間的分組，並決定tuple發送給Bolt的途徑。

 Spout中open、nextTuple和delcareOutputFields方法的邏輯：

 

 

declareOutputFileds（）決定了tuple發射的格式，這樣的話Bolt就能夠用相似的方法將tuple譯碼。Spout持續對日誌文件的數據的變動進行監聽，一旦有添加Spout就會進行讀入而且發送給Bolt進行處理。

Bolt的實現

Spout的輸出結果將給予Bolt進行更深一步的處理。

：

 

一旦Spout和Bolt準備就緒（等待被執行），topology生成器將會創建topology並準備執行。下面就來看一下執行步驟。

在本地集羣上運行和測試topology

• 經過TopologyBuilder創建topology。
• 使用Storm Submitter，將topology遞交給集羣。以topology的名字、配置和topology的對象做爲參數。
• 提交topology。