Spark在攜程的實踐（一）

一、Spark在攜程應用的現狀 集羣規模： 平均每天MR任務數：30W+ 開發平臺： 調度系統運行的任務數：10W+ 每天運行任務實例數：23W+ ETL/計算任務：~58% 查詢平臺 adhoc查詢：2W+ 支持Spark/Hive/Presto   二、Hive與Spark的區別 Hive： 優點：運行穩定，客戶端內存消耗小。 存在問題：生成多個MapReduce作業；中間結果落地，IO開銷大

>>阅读原文<<