我理解的spark集羣的計算模型

備註: 1.task節點是線程,由executor進程對一個或多個task線程做創建、內存分配、任務分配、銷燬等操作,具體的操作邏輯先忽略,而executor進程運行在服務器上,對executor 進程的管理也忽略了。 2.對用戶而言,分組操作就是rdd轉成了rdd1,中間的task處理對用戶而言是透明的, 3.其它待補充。
相關文章
相關標籤/搜索