spark內核揭祕-03-spark核心組件

spark核心組件如下所示:     在SparkContext初始化的時候,會初始化一系列內容: 查看內存使用情況:   創建和啓動scheduler:     集羣核心組件中的Block tracker是用於block和partition對應關係的管理。 集羣核心組件中的shuffle tracker是用於記錄shuffle操作的過程細節。 從集羣中也可以看出,Executor在執行任務的時候
相關文章
相關標籤/搜索