讓Spark成爲你的瑞士軍刀

今天基本算是完成了一個類似spark-jobserver 的功能，當然功能還是比較簡單的，不過提供了Web界面。很感慨Spark 用好了，真的是大數據的瑞士軍刀 依託於Spark Streaming /Spark SQL，封裝了一套通過配置和SQL就能完成批處理和流式處理的引擎，這樣可以很好的完成複雜的ETL處理過程，實現了數據的流轉和變換。 完成了數據的流轉和變換，接着就是查詢了，通過對Spar

>>阅读原文<<