spark採用foreach方法向下遊寫數據導致mysql報警問題記錄

    爲了統計數據庫中某一字段動態變化量,採用定時採集數據的方式,每半小時採集一次動態數據,每天統一彙總推送到hadoop文件系統中,每月採用spark分佈式計算動態數據的變化規律,並寫入數據庫中,以便監控數據庫中數據變化趨勢。     但是在寫入數據的過程中,採用調用下游接口的方式,利用spark針對rdd的foreach方式寫入,代碼如下:      但是,在寫入過程中,數據庫瞬時qps達到
相關文章
相關標籤/搜索