大數據學習之路88-將jar包提交到spark集羣需要注意的

我們可以將上一節將數據寫入MySql的程序用maven將程序打包,然後將jar包提交到spark集羣。 執行語句如下: 我們可以看到這裏指定了兩次mysql的連接驅動,這是爲什麼呢? 因爲Driver端獲取數據庫中的元數據信息的時候需要連接驅動,executor真正執行的時候也需要和數據庫打交道,也需要數據庫的連接驅動。
相關文章
相關標籤/搜索