優雅解決Spark Application jar包衝突問題

前言 當我們開發的Spark Application變得越來越複雜,依賴的jar包越來越多時,難免會碰到jar包衝突的問題。 舉個例子: 我們的業務代碼用到了一個第三方庫,好比:guava(雖然好用,但是版本間的兼容性差的一坨翔) Spark本身也依賴了guava,但是和業務代碼中依賴的guava版本不同 這種情況下,把我們的Spark Application提交到集羣裏執行,很有可能因爲版本問題
相關文章
相關標籤/搜索