Spark DAG之SubmitJob

概要 介紹DAGScheduler使用EventLoop(LinkedBlockingDeque)異步處理Job的流程,程序由同步改成異步是優化併發,提高性能的常見手段,在spark中使用的很是多。html EventLoop 異步處理藉助於EventLoop實現,EventLoop內部維護了LinkedBlockingDeque,LinkedBlockingDeque是基於鏈表實現的雙端阻塞隊列
相關文章
相關標籤/搜索