spark streaming調優-多線程並行處理任務

問題 對於spark streaming程序和spark程序的區別，最大的一個問題就是spark streaming程序需要控制每次處理的時間。我們看以下兩種場景，都很常見。 場景1: 程序每次處理的數據量是波動的，比如週末比工作日多很多，晚八點比凌晨四點多很多。 一個spark程序處理的時間在1-2小時波動是OK的。而spark streaming程序不可以,如果每次處理的時間是1-10分鐘，就

>>阅读原文<<