Flink/Spark 如何實現動態更新作業配置

由於實時場景對可用性十分敏感,實時作業通常需要避免頻繁重啓,因此動態加載作業配置(變量)是實時計算裏十分常見的需求,比如通常複雜事件處理 (CEP) 的規則或者在線機器學習的模型。儘管常見,實現起來卻並沒有那麼簡單,其中最難點在於如何確保節點狀態在變更期間的一致性。目前來說一般有兩種實現方式: 輪詢拉取方式,即作業算子定時檢測在外部系統的配置是否有變更,若有則同步配置。 控制流方式,即作業除了用於
相關文章
相關標籤/搜索