Windows下搭建spark

安裝環境

• JDK 1.7
• scala 2.11.7
• hadoop-winutils 2.6.0
• spark 1.3.1

安裝步驟

1. 安裝JDK、scala解釋器、hadoop-winutils、spark
2. 配置JAVA_HOME、SCALA_HOME、HADOOP_HOME環境變量
3. 運行spark目錄下/bin/spark-shell.cmd

測試代碼

用這裏的wordCount代碼，在spark-shell上運行

scala$ spark-shell
scala> val file = sc.textFile("<input file>")
scala> val counts = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
scala> counts.saveAsTextFile("<output file>")

能夠在<output file>/part-00000（可能不僅一個輸出結果文件）中看到結果