Spark任務提交與執行之RDD的建立、轉換及DAG構建

在這裏經過使用wordcount例子來學習Spark是如何進行任務的提交與執行。本次先進行RDD的建立、轉換以及DAG的構建進行學習。 整個wordcount的代碼能夠簡單以下實現：java sc.textFile("/library/wordcount/input").flatMap(_.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).

>>阅读原文<<