批流統一計算引擎的動力源泉—Flink Shuffle機制的重構與優化

來源 | zh.ververica.com作者 | 王治江（淘江） 該文爲補發昨天的文章。zh.ververica.com是新Flink中文站。 一. 概述 本文講述的shuffle概念範圍如下圖虛線框所示，從上游算子產出數據到下游算子消費數據的全部流程，基本可以劃分成三個子模塊： 上游寫數據：算子產出的record序列化成buffer數據結構插入到sub partition隊列； 網絡傳輸：上下

>>阅读原文<<