Spark On yarn

spark on yarn 提交的任務失敗，提示 exit 15

以前查網上，大部分有人說時mapred－site 配的classpath有問題，可是個人是好的。

通過艱難的排查是發現，提交的job代碼有錯誤。是什麼緣由沒有發現這個錯誤呢，由於這個job在client模式時是能夠運行的，可是到了cluster模式就是失敗。

後來發現一段

val userDefinedScala = scala.io.Source.fromFile(Utils.DEFAULT_PROJECT_DIR+"UDF.scala").mkString

　　其中

Utils.DEFAULT_PROJECT_DIR ＝

"src/main/scala/com/qiniu/bigdatatool/spark/"這個代碼在client跑時應該是能夠找到的，可是到了cluster模式跑就不行了。 因此這個是個問題，這應該是涉及到了cluster模式的細節。後來是經過反射加載了這個類，解決了問題。