Spark_DAG

一個action算子一個job 下面是一個job的劃分: DAG(有向無環圖): 顧名思義:有方向而沒有環路 這裏作了DAG優化 : 就是不切分窄依賴 舉例?? 1 + 1 + 1 +1 =?: if 切分 : 1+1 =2 2+1 =3 3+1 =4 if 不切分 : 1+1+1+1 = 4 這樣不切分的效率就會很高(DAG優化)web
相關文章
相關標籤/搜索
本站公眾號
   歡迎關注本站公眾號,獲取更多信息