RDD之collect方法執行的過程

首先來看一張圖： spark集羣中有master節點和Worker節點，master節點負責任務調度，worker節點負責計算。web 當集羣啓動時，worker節點會向master註冊，而且按期向master發送心跳。數據庫 當咱們向集羣提交任務時，會啓動一個進程spark-submit,這個進程也叫作driver。這個進程先要鏈接master，而後master會經過註冊信息找到合適的worke

>>阅读原文<<