搭乘阿里雲Data Lake Analytics快車,探索區塊鏈大數據世界

筆者創業做推廣方向的大數據業務,之前一個很大的問題就是離線數據、冷備數據的處理問題。 像我們每天要抓取幾億條蘋果應用市場的搜索結果數據,出於成本考慮,一般線上DB就存1個月的數據,歷史數據一般都備份在阿里雲存儲OSS上,需要用的時候再導入到DB或者Hadoop集羣上。還有如用戶點擊日誌數據,如果不是財大氣粗,一般也都是採用了類似的模式。這種方法很大的問題就是流程麻煩,需要大量的ETL導入導出工作。
相關文章
相關標籤/搜索