基於開源架構的任務調度系統在證券數據處理中的探索和實踐

摘要：爲了應對證券行業盤後批處理業務複雜度上升帶來的批處理時間窗口逐步縮小和運維越來越困難的挑戰，上交所技術積極擁抱開源技術，結合上交所批處理的生產經驗教訓，以零人工介入、自動化運維爲目標，開發了一種跨平臺、支持多種部署模式的任務調度系統。本文從上交所批處理系統面臨的實際挑戰出發，通過調研幾類典型的批處理架構，選擇以開源軟件Spring cloud dataflow爲基礎，設計並研發了上交所批處理

>>阅读原文<<