失敗的sparkSql使用問題記錄

問題1、爲什麼很大的表，最裏層的map只用1094個task呢？導致一直gc,   最後失敗。 問題2，用row獲取數據的時候，在sql中聚合的結果到底是integer還是long呢，總報數據類型轉換錯誤，全改成Integer不對，全改成long也不對，後來單獨把一段列設置一樣的sql拿出來，用df.show(2)執行，df.printSchema()打印結構，在log的stdout看到結構。 但

>>阅读原文<<