sparkstreaming消費處理速度滯後

在工作中遇到上圖所示問題，sparkstreaming處理速度跟不上拉取的數量，我嘗試給spark作業增大資源，完全沒作用，後來發現kafka的topic只有一個分區，spark作業都已經給了5個excutor，再增加資源和excutor也沒作用，好像是因爲topic一個分區對應一個excutor，這樣才能並行執行，我這裏一個分區，所以只用上一個excutor，它已經達到上限，增加資源也白費。我們

>>阅读原文<<