flume+kafka+storm整合實現實時計算小案例

    我們做數據分析的時候常常會遇到這樣兩個場景，一個是統計歷史數據，這個就是要分析歷史保存的日誌。我們會使用hadoop，具體框架可以設計爲： 1.flume收集日誌； 2.HDFS輸入路徑存儲日誌； 3.MapReduce計算，將結果輸出到HDFS輸出路徑； 4.hive+sqoop實現將結果轉儲到mysql 5.我們會使用crontab定時執行一個腳本來做 具體這裏就不展開來說了，我會在另

>>阅读原文<<