Spark中saveAsTextFile至stage劃分和job提交的源代碼分析

以前看了Spark Streaming和Spark SQL, 本身還花了一些時間去玩了些machine learning的算法， 像 線性迴歸， kmeans， 協同過濾等。 如今回過頭來， 打算看一下spark core部分代碼， 就先找了下saveAsTextFile這個方法做爲入口， 看一下是怎麼保存文檔到hadoop中，而且怎麼切分stage以及提交Task。 中間也會觸碰到DAGSche

>>阅读原文<<