sparkstreaming個別task執行時間過長

1.單機差異排查 通過streaming的web可看到運行的每個批的詳細信息，我們注意到在運行時間上的批次裏，基本都是少部分任務時間很長，大多數task還是很快的。可以看到75%的task在3秒內執行完，但是Max最大的確實1.2min，首先猜想的是機器性能差異，但是經過排查集羣機器性能並無區別，且每臺機器上執行的task比較均衡，基本上排除了單機性能差異問題，且在耗時較長的批次中，可以發現耗時長

>>阅读原文<<