使用spark與MySQL進行數據交互的方法

在項目中，遇到一個場景是，須要從Hive數據倉庫中拉取數據，進行過濾、裁剪或者聚合以後生成中間結果導入MySQL。html 對於這樣一個極其普通的離線計算場景，有多種技術選型能夠實現。例如，sqoop，MR，HSQL。java   咱們這裏使用的spark，優勢來講是兩個：一是靈活性高，二是代碼簡潔。mysql 1）靈活性高sql 相比sqoop和HSQL，spark能夠更靈活的控制過濾和裁剪邏輯

>>阅读原文<<