Spark執行環境——輸出提交協調器

當Spark應用程序使用了SparkSQL（包括Hive）或者需要將任務的輸出保存到HDFS時，就會用到輸出提交協調器OutputCommitCoordinator，OutputCommitCoordinator將決定任務是否可以提交輸出到HDFS。無論是Driver還是Executor，在SparkEnv中都包含了子組件OutputCommitCoordinator。在Driver上註冊了Out

>>阅读原文<<