spark screaming 模擬實戰項目實例

因爲沒有網絡日誌，咱們這裏用以前寫的python腳本爬取新浪微博熱搜模擬產生日誌文件，經過kafka和flume整合 將日誌定時抽取到 spark上進行處理，微博熱搜是十分鐘更新一次，咱們這裏也設置十分鐘的定時任務，具體步驟以下java 第一步python 編寫python腳本獲取微博熱搜 實時排名，主題和url，而後運行測試，代碼以下mysql #!python2 # -*- coding:ut

>>阅读原文<<