Spark實戰經驗

一、背景 由於公司的老集羣對於現有的開發工作者來說並不是特別的友好，數據模型也不是特別適用。所以爲了讓使用者更友好、數據更可靠，建立新集羣、構建數倉，新集羣搭建到使用，基於spark引擎自己構建ETL框架，在大量數據下，期間難免會遇到各種各樣的問題。於是找幾個踩過的比較經典的坑來說一下。 二、採坑過程 個人感覺單純開發SparkStreaming的過程不叫經驗，所以直接略過，來到測試環節，Spar

>>阅读原文<<