spark工作原理和流程介紹

Spark相關名詞解釋: Driver 主進程,執行了一個Spark Application的main函數和創建Spark Contex的進程 在Yarn集羣中: Yarn-Cluster Driver進程在集羣的節點上 Yarn-Client Driver進程存在本地,方便調試,但是會有大量網絡傳輸,不適合生成環境 SparkContext 負責和集羣通訊,申請資源,監控集羣任務狀態 Parti
相關文章
相關標籤/搜索