storm_可靠消息的例子

這是一個比較複雜的例子,含蓋的知識面較多。 需求:統計出某文件夾下各文件中,各個單詞出現的數次。(同時將文件剪切到另一個目錄) 知識點一:多進程/多線程讀取同一個文件,需要對文件進行加鎖。 知識點二:對單詞做統計,所以最好使用按字段分組 知識點三:如何得知一個文件的單詞統計完了,需要使用storm的可靠消息機制。 知識點四:當知道某一個文件的單詞統計完後,需要將處理這些單詞的bolt結果彙總到一個
相關文章
相關標籤/搜索