[Spark] Spark 3.0 Accelerator Aware Scheduling - GPU

Ref: Spark3.0 preview預覽版嘗試GPU調用（本地模式不支持GPU）

預覽版本：https://archive.apache.org/dist/spark/spark-3.0.0-preview/

 

 

Ref: Apache Spark3.0什麼樣？一文讀懂Apache Spark最新技術發展與展望

2. Accelerator Aware Scheduling

Spark依賴Accelerator Aware Scheduling來感知GPU計算資源，從而調度深度學習任務。實際上，Spark自己並不直接管理GPU資源，而是經過YARN等資源管理框架在Application Level來申請並得到計算所需的GPU資源。用戶能夠在Context中獲取GPU信息，從而實現GPU計算，完成深度學習任務。須要注意的是，Spark支持的計算加速器並不限於GPU，能夠很容易擴展到FPGA等其餘加速器類型。

 

 

Ref: Apache Spark 3.0 將內置支持 GPU 調度，文末有福利

 

 

/* implement */