Spark Metrics實現原理

Spark 任務的Metrics 是經過Spark中的accumulator來輔助實現的。 accumulator 定義 // 1.1 定義 accumulator來收集 task 運行統計信息，包括 runTime,cpuTime,GCTime等 class TaskMetrics private[spark] () extends Serializable { // Each metri

>>阅读原文<<