spark的提交和執行流程

spark學習總結（spark運行流程） RDD建立方式 1對集合進行操做 sc.parallelize (指定元素位置) sc.makeRDD 2對指定路徑的文件進行操做 sc.textFile  3從hdfs建立RDD sc.hadoopFile("") 4經過transformation轉換獲得RDD spark程序提交流程 1 DAGScheduler 決定運行task的理想位置 並傳遞信

>>阅读原文<<