構建實時數據可視化監控的全棧實現(Kafka+Spark+TimescaleDB+Flask+Node.js)

由於項目需求,須要構建一個實時的數據監控系統,把平臺上報的業務數據以1分鐘的粒度進行呈現。爲此我構建瞭如下的一個架構來實現。javascript 平臺上報的業務數據會實時的發送消息給Kafka,例如平臺每次爲車輛進行OTA升級時,會發送一個OTA業務請求的事件,一個OTA業務完成或失敗的事件。這些事件會發送到Kafka,而後Spark Streaming會進行實時的數據處理並保存到時序數據庫。前端
相關文章
相關標籤/搜索