海量電力設備監測數據存儲分析

關於海量電力設備監測數據的存儲和特徵分析的詳細教程：

海量電力設備監測數據的存儲和特徵分析

電力設備在線監測指在不停電的狀況下，對電力設備情況進行連續或週期性地自動監視檢測，使用的技術包括：傳感器技術、廣域通訊技術和信息處理技術。電力設備在線監測是實現電力設備狀態運行檢修管理、提高生產運行管理精益化水平的重要手段，對提高電網智能化水平、實現電力設備狀態運行管理具備積極而深遠的意義。

隨着智能電網建設的推動，電力設備在線監測獲得了較大發展併成爲趨勢，監測數據變得日益龐大，逐漸構成電力設備監測大數據，這給電力設備在線監測系統在數據存儲和處理方面帶來很是大的技術挑戰。

電力設備監測大數據具備體量大、類型多、價值密度低和處理速度快的特色。電網公司監測系統目前過於依賴集中式SAN存儲，並基於SOA進行數據集成，主要採用「企業級關係型數據庫」，受容量、擴展性以及訪問速度的制約，目前只存儲二次加工的「熟數據」，而所擅長的關聯查詢、事務處理在數據分析時又無用武之地，迫切須要新的大數據存儲和處理技術來應對。

變壓器的局部放電數據是一種典型的電力設備監測數據。局部放電相位分析（phase resolved partial discharge, PRPD）包含了從特徵提取到模式識別的過程。本文將全面介紹利用MaxCompute實現局部放電監測數據特徵提取的過程。

PD信號分析主要包括三個子過程：（1）基本參數n-q-φ的提取。掃描PD信號，統計信號中的放電峯值和相應的放電相位。（2）譜圖構造和統計特徵計算。劃分相窗，統計平均放電量和放電次數的分佈，計算平均放電量相位分佈譜圖qave-φ和放電次數相位分佈譜圖n-φ。基於qave-φ和n-φ，以φi爲隨機變量，計算譜圖的偏斜度Sk、陡峭度Ku等統計特徵，造成放電特徵向量。（3）放電類型識別。本文將介紹，使用MapReduce實現第一個子過程的方法。

MaxCompute(原ODPS) 是阿里雲提供的海量數據處理平臺。主要服務於批量結構化數據的存儲和計算，數據規模達EB級別。MaxCompute目前已在大型互聯網企業的數據倉庫和BI分析、網站的日誌分析、電子商務網站的交易分析等領域獲得大規模應用。

另外，本文還將使用odpscmd做爲客戶端完成對MaxCompute的各類操做。odpscmd是一個Java程序，能夠以命令方式訪問MaxCompute。應用該客戶端，能夠完成包括數據查詢、數據上傳、下載等各類任務。須要JRE環境才能運行，請下載並安裝JRE 1.6+版本。

本文將使用MapReduce編程來完成特徵分析的計算任務。MapReduce最先是由Google提出的分佈式數據處理模型，隨後受到了業內的普遍關注，並被大量應用到各類商業場景中。好比搜索、Web訪問日誌分析、文本統計分析、海量數據挖掘、機器學習、天然語言處理、廣告推薦等。

更多精品課程：

阿里云云計算專業

阿里雲大數據專業

阿里云云安全專業