記一次服務優化的歷程

開發一個服務是簡單的，讓服務在不可靠和有限資源環境下穩定的運行需要不斷的設計優化. 場景描述:起源於一流量統計的功能,需要實時或者準實時的計算流數據中每分鐘的特定事件類型的數量並存儲到關係型數據庫中.流數據的處理經由SparkStreaming程序進行處理. 第一版:也是最初的版本,採用Spark Streaming的窗口特性每隔1分鐘執行一次批量的計數操作並將結果更新到關係型數據庫中,在數據量小

>>阅读原文<<