Spark-Scala-IntelliJ開發環境搭建和編譯Jar包流程

   使用Scala編寫Spark腳本的話,可以直接在spark-shell中運行,如果要提交整個腳本的話,就必須將scala腳本編譯成Jar包,然後通過spark-submit 提交Jar包給spark集羣,當需要重複利用腳本的話一般是需要編譯成Jar包的,所以後面會介紹下怎麼將scala編譯成Jar包,前面則會介紹下怎麼搭建spark-scala的開發環境,同時使用IntelliJ Idea編
相關文章
相關標籤/搜索