Spark Streaming應用與實戰全攻略

一、背景與架構改造   1.1 問題描述 有一塊業務主要是做爬蟲抓取與數據輸出，通過大數據這邊提供的SOA服務入庫到HBase,架構大致如下： 架構改造之前 以對於以上的架構存在一些問題，我們可以看見數據在Dubbox服務階段處理後直接通過HBase API入庫了HBase，中間並沒做任何緩衝，要是HBase出現了問題整個集羣都完蛋，沒法寫入數據，數據還丟失，HBase這邊壓力也相當大，針對這一點

>>阅读原文<<