【Spark】源碼分析之RDD的生成及stage的切分

一、概述 Spark源碼整體的邏輯(spark1.3.1):從saveAsTextFile()方法入手 -->saveAsTextFile()  --> saveAsHadoopFile()  --> 封裝hadoopConf,並傳入saveAsHadoopDataset()方法 --> 拿到寫出流SaprkHadoopWriter,調用self.context.runJob(self,write
相關文章
相關標籤/搜索