Spark job 的執行流程簡介

Spark 應用程序在提交執行後，控制檯會打印不少日誌信息，這些信息看起來是雜亂無章的，可是卻在必定程度上體現了一個被提交的 Spark job 在集羣中是如何被調度執行的，這裏將會向你們介紹一個典型的 Spark job 是如何被調度執行的。 咱們先來了解如下幾個概念： DAG: 即 Directed Acyclic Graph，有向無環圖，這是一個圖論中的概念。若是一個有向圖沒法從某個頂點出發

>>阅读原文<<