大數據學習筆記(spark資源調度)

1、緒論 上圖是Spark程序運行時的一個超級簡單的概括。我們運行一個Spark應用程序時,首先第一步肯定是寫一個Spark Application應用程序,然後調用資源調度器爲Driver申請資源。申請成功後,向master爲Application申請資源,申請完畢後,調用資源調度器把任務分發到節點執行。在各個節點進行分佈式的並行計算。 2、前置知識 對於Application來說,資源是Exe
相關文章
相關標籤/搜索