idea配置scala編寫spark wordcount程序

一、建立scala maven項目
選擇骨架的時候爲org.scala-tools.archetypes:scala-aechetype-simple 1.2
二、導入包，進入spark官網Documentation選擇第二個-選擇本身的spark版本-選擇programming guides-選擇第二個-查看spark版本對應的依賴的版本
將pom中的內容爲：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <parent>
        <artifactId>bigdata</artifactId>
        <groupId>com.laotou</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <artifactId>spark_day01_01</artifactId>
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.6.3</version>
        </dependency>
    </dependencies>
    </project>

代碼： object HelloSpark { def main(args: Array[String]): Unit = { //spark主要是作計算 ---> 最終是否是要打包發佈到spark集羣中 由於集羣中要運行多個spark程序，因此事先要給job取個名字
val conf = new SparkConf().setAppName("sparkTest").setMaster("local[2]") val sc = new SparkContext(conf) sc.textFile("D://helloSpark.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).foreach(println(_)) } }

三、若是採用的scala版本與spark要求的版本不一致時，會報錯NoSunchMethodError

解決：
修改scala的版本。採用綠色版。（這裏是將scala-sdk-2.10.6的壓縮包）解壓-->手動配置一下。
進去spark官網查看當前操做的spark版本對應的依賴scala版本
Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.3 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).
idea選擇file-project structure-選擇須要處理的項目-選擇spark版本對應的dependencies-右邊有個+號添加須要的依賴scala版本：scala-sdk-2.10.6