Spark/Flink廣播實現作業配置動態更新

  前言   在實時計算作業中,往往需要動態改變一些配置,舉幾個栗子:   實時日誌ETL服務,需要在日誌的格式、字段發生變化時保證正常解析;   實時NLP服務,需要及時識別新添加的領域詞與停用詞;   實時風控服務,需要根據業務情況調整觸發警告的規則。   那麼問題來了:配置每次變化都得手動修改代碼,再重啓作業嗎?答案顯然是否定的,畢竟實時任務的終極目標就是7 x 24無間斷運行。Spark
相關文章
相關標籤/搜索