《DS調度實時任務優化》詳細設計

《DS調度實時任務優化》詳細設計 需求背景： 由於ds的主從結構，且在瞭解ds的相關運行原理後，發現ds會佔用大量的線程 尤其是實時任務會一直佔用線程輪詢yarn上flink任務的執行狀態，而我們的最終方案是直接通過yarn獲取任務的執行狀態，換言之，不需要ds上保存flink任務的執行狀態。所以這裏的改造方案：當flink任務提交成功後，直接將ds上該任務的狀態置爲成功，則ds不會持續輪詢。 一

>>阅读原文<<