針對 「單flow含100個有依賴的輕量job」運行異常的案例分析

摘要： 在作業調度某次性能測試開展中，用例「一個工作流中存在100個有相互依賴關係的輕量job」運行異常，經過層層分析，最終發現是運行job的機器unable to create new native thread觸發了spark2.0版本的一個bug，並通過修改了最大線程數最終完成了該用例測試執行。 1、案例介紹         在作業調度某次性能測試開展中，用例「一個工作流中存在100個有相互

>>阅读原文<<