pyspark學習記錄

spark整體流程：   ClusterManager:在Standalone模式中即爲Master節點（主節點），控制整個集羣，監控Worker.在YARN中爲ResourceManager Worker:從節點，負責控制計算節點，啓動Executor或Driver。在YARN模式中爲NodeManager,負責計算節點的控制。 Driver:運行Application的main()函數並創建S

>>阅读原文<<