在以前的博文中,咱們介紹了Flink的網絡堆棧如何從高級抽象到低級細節。 此係列網絡堆棧帖子中的第二篇博客文章擴展了這一知識,並討論了監視與網絡相關的指標,以識別諸如背壓或吞吐量和延遲瓶頸等影響。 雖然這篇文章簡要介紹瞭如何處理背壓,但將來的帖子將進一步研究調整網絡堆棧的主題。 若是您不熟悉網絡堆棧,咱們強烈建議先深刻閱讀網絡堆棧而後繼續。html
監控apache
網絡監控中最重要的部分多是監控背壓,這種狀況下系統接收的數據速率高於處理速度¹。這種行爲將致使發送者受到壓力,可能由兩件事引發:網絡
這多是由於接收器自己是背壓,沒法以與發送方相同的速率繼續處理,或者被垃圾收集,缺乏系統資源或I / O暫時阻止。分佈式
即便在這種狀況下接收器沒有(直接)涉及,咱們稱發送器爲背壓,由於在同一臺機器上運行的全部子任務共享的網絡帶寬可能超額預訂。請注意,除了Flink的網絡堆棧以外,可能還有更多的網絡用戶,例如源和接收器,分佈式文件系統(檢查點,網絡附加存儲),日誌記錄和指標。以前的容量規劃博客文章提供了更多看法。日誌
1若是您不熟悉背壓以及它與Flink的交互方式,咱們建議您閱讀2015年關於背壓的博客文章。htm
原文鏈接https://flink.apache.org/2019/07/23/flink-network-stack-2.htmlci