sparkstreaming個別task執行時間過長

1.單機差異排查 通過streaming的web可看到運行的每個批的詳細信息,我們注意到在運行時間上的批次裏,基本都是少部分任務時間很長,大多數task還是很快的。可以看到75%的task在3秒內執行完,但是Max最大的確實1.2min,首先猜想的是機器性能差異,但是經過排查集羣機器性能並無區別,且每臺機器上執行的task比較均衡,基本上排除了單機性能差異問題,且在耗時較長的批次中,可以發現耗時長
相關文章
相關標籤/搜索