『 Spark 』2. spark 基本概念解析

Application 用戶在 spark 上構建的程序,包含了 driver 程序以及在集羣上運行的程序代碼,物理機器上涉及了 driver,master,worker 三個節點. Driver Program 創建 sc ,定義 udf 函數,定義一個 spark 應用程序所需要的三大步驟的邏輯:加載數據集,處理數據,結果展示。 Cluster Manager 集羣的資源管理器,在集羣上獲取資
相關文章
相關標籤/搜索