sbt spark2.3.1 idea打包Caused by: java.lang.ClassNotFoundException: scala.Product$class

今天同事在服務區上面裝的是最新版本的hadoop3.10和spark2.3.1,由於用scala開發，

因此我想用sbt進行開發。過程當中遇到各類坑，剛開始用的jdk10,結果也報錯，後來改爲jdk1.8.

又報了新的錯誤。開始用的是scala2.12.6

 

若是不要使用spark的純scala項目則不報錯，但只要是spark的包引用則報錯，則通通報錯。

Caused by: java.lang.ClassNotFoundException: scala.Product$class

後來修改build.sbt成下面的格式

name := "sbttest"

version := "0.1"

scalaVersion := "2.11.12"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.3.1"


libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.3.1"

 重點在

scalaVersion := "2.11.12"的版本號2.11要和要和spark-core_後面的數字2.11要相同。這樣就不報錯了
結果以下