大數據分析平臺的演進之路

1、石器時代 大數據技術剛起步時平臺架構很簡單,數據流從日誌通過RSYNC(linux系統下的數據鏡像備份工具)流入到Hive,然後通過Hive SQL語句統計分析,結果導入到MySQL,最後形成報表展示。整個流程的驅動基於Shell腳本完成,報表系統和數據處理是利用Java實現。所有業務需求都是手工處理,所有報表都要寫Java代碼開發,這個給開發人員造成了很大的工作量,並且用戶獲取數據週期長,速
相關文章
相關標籤/搜索