使用spark過程中遇到的技術問題及自身問題

最近的一個項目中使用了spark技術過程遇到的一些問題，下面就以問題來分析原因及解決過程。 問題 1、創建sparkView沒有加限制條件，導致創建幾十上百萬大數據量的view時，多庫的情況下在driver創建了 大量的view,就把driver端的內存撐爆了，之前線上沒有暴露出來的這個問題原因主要是每一個小時都會處理一次,每次數據量都不大，後面任務有停了幾天，數據量突增了很多，這時就出現很多問題

>>阅读原文<<