隨着大數據、人工智能、雲計算技術的日漸成熟和飛速發展,傳統的運維技術和解決方案已經不能知足需求,智能運維已成爲運維的熱點領域。同時,爲了知足大流量、用戶高質量體驗和用戶分佈地域廣的互聯網應用場景,大型分佈式系統的部署方式也成爲了高效運維的必然之選。如何提高運維的能力和效率,是保障業務高可用所面臨的最大挑戰。本篇文章以百度基於PaddlePaddle的新能源充電樁爲切入點,深刻介紹智能運維在電力行業的實際應用。前端
如下爲演講實錄算法
電力行業運維過程當中的痛點與機遇數據庫
衆所周知,典型電力行業包括髮電、輸電、配電、用電等多個階段,而電力做爲關係國計民生的重要資源,在各個階段不管針對電網或是終端設備的運行維護都是保障電網安全穩定運行的重要手段。此外,目前中國已經建成全球範圍內信息化程度最高的電網,而電網的工程師們仍在持續學習和引入新技術,大數據和深度學習是他們重點關注的方向。咱們發現,針對電力運維,有三個典型的場景比較適合大數據與深度學習技術,包括:緩存
1.電網設備維護:經過對電網電能質量分析系統、分佈式監控系統產生的數據進行學習,實現故障提早預警,減小電網設備運維成本;安全
2.規劃電網調度:經過對氣象數據、用戶行爲數據等分析建模,實現用電管理,優化電網調度提高效率;服務器
3.用電異常識別:經過對終端設備,如智能電錶的數據分析,實現用電異常識別,下降用電損失提高效率。併發
基於電力行業四大特色,充電樁智能運維須要新的技術方案運維
圖一:電力行業四大特色分佈式
電力行業有四大特色:工具
1.市場規模大:發改委在2015年頒佈的《充電樁建設指南》指出,計劃到2020年全國建成超過480萬個充電樁,圖中爲根據指南及目前市場狀況的測算,到2020年整個市場規模將達900億。而2017年全國保有量爲21.3萬個,僅北京地區已超3萬個,一方面鮮有保有量已經不小,此外從今年開始將是充電樁建設的高速爆發期;
2.強制性檢測:國家電網要求存量市場充電樁每一年必須按期檢查並出具報告,新增充電樁所有聯網並要求強制測試。若是沒有運維保障,一旦出現問題就有可能帶來車毀人亡的重大事故;
3.運維成本高:現場故障多,環境複雜,形成現場運維人力成本高;
4.行業痛點強:目前針對充電樁運維已經有技術方案,但傳統廠商通常基於傳統數據庫搭建方案,一旦出現增量上網,很難應對大數據和擴容的挑戰。此外因爲缺少數據挖掘的工具和知識,數據利用率不高。基於以上四個特色,充電樁智能運維須要新的技術方案。
圖二:充電樁智能運維新方案
在此背景下,咱們和博電電氣聯合提出了充電樁智能運維新方案。博電電氣是行業領先的電力測試設備供應商,主要服務國家電網、南方電網和海外電網運營商。在這套新的方案中,咱們經過一攬子技術方案包括底層的物聯網設備接入、邊緣計算,到中層的雲計算平臺,上層的大數據平臺,解決設備管理複雜、擴容難等問題。同時,基於百度AI能力,咱們搭建了多種運維模型,包括設備監測,到故障診斷,到預測性維保。以充電樁故障診斷爲例,基於傳統數據分析工具如matlab、labview和本地計算資源,已經達到95%的故障識別率。但咱們經過PaddlePaddle的深度學習和分佈式計算,比較容易的就將準確度再提高了4個點,並給客戶帶來了經濟價值。
圖三:基於PaddlePaddle的充電樁異常診斷建模
提問環節
提問:充電樁如何聯網?
趙喬:自己充電樁是離線的,咱們採起的是在充電樁上出一個加了硬件的槍頭,這個硬件裏面跑的是模型和功能等等,除模型外,上面還加了3G的模塊,這個模塊就是支持IOT標準的工業企業,這樣就能聯網了。
提問:數據如何上傳到雲端到服務器?
趙喬:數據會直接傳上去。算法分別跑在本地和雲端,其中會有一部分跑內部端,在算法要求高實時反饋的狀況下,如閉環的反饋是在毫秒級,那算法就要跑在前端,這是不能特別複雜的模型。
提問:通訊技術很複雜嗎?
趙喬:不復雜,是一個標準的通訊技術,跟4G同樣的業界標準,且自己底層算法不須要開發。
提問:咱們如今的算法要上傳到服務器,是在雲區,有沒有什麼解決方法。
趙喬:咱們以前的算法在海上信號很差,可是有專用的工業wifi,可能距離是15米,但軟件會比較麻煩。好比先緩存,等聯網了再斷,這樣很麻煩。我以爲這個沒有辦法繞開,若是你的應用要求聯網必須一直聯,可能經過軟件很難作,你只能經過考慮硬件,咱們以前想專門用工業WIFI,功率很強。
提問:我在作LT的預算,利用RFID傳感器,採集至關大的wifi信號數據,如今遇到的幾個問題,第一個問題是調用的人工智能的算法,對硬件的算力要求比較高,想問老師是怎麼看這個問題?
趙喬:跟你跑的模型有關係,須要運行的是引擎,好比百度的ERE,須要知道部署地方的環境,會佔資源,百度的佔十兆資源,還有的不用考慮,編譯好的直接下去。
提問:一部分是在本地,另外一部分在雲上?
趙喬:雲上不多,雲上的算力比較大,至關因而不斷訓練模型,可是在端上用,咱們的部分是跑在AIM上,其實端不必定是嵌入式,也能夠是牽扯硬件,如筆記本。
提問:百度雲平臺對IOT開放嗎?
趙喬:能夠,你能夠在上面搜百度雲天工。
提問:我想問規劃處理,大家有非數值類型的數據嗎?是一串字符串。
嘉賓女:咱們處理這個,只涉及到數值類的,非數值的就是詞項量,你算一些方法嘗試一下。
提問:非數值類型的怎麼處理?
嘉賓女:變成向量。
提問:若是這個字符串不是固定的,有多是變幻無窮的。
嘉賓女:你規劃的目的是什麼?
提問:不會像詞向量那樣,詞多是約定好的一萬個,可能有不少種,沒法作到詞向量。
嘉賓女:仍是要回歸到解決問題是什麼,你的目標是想看一下訓練數據的多樣性,你就能夠用數據統計的方法設計一些。
提問:個人場景是日誌分析,有不少信息,如用戶名、用戶名的操做方法,這樣會產生很長的字符串,也有很短,那這部分數據怎麼處理。
嘉賓女:給你們分享咱們在公司內作項目或者作To B的項目遇到這些問題的思考路徑,上述問題是兩個方向,一個方向是怎樣使得數據更乾淨,讓我肯定這個數據對我是否有價值;另一個問題,這些數據拿到了怎樣去應用。第一個問題,百度的已有數據用的是統一的格式,因此作一些標準和定義。第二個問題,這些數據怎麼用,要想好你要解決的目的是什麼,目標是什麼,用咱們掌握的技術和經驗去變通找到方法。
提問:好比說95%提高到99%,提高了4%,提高的那4%具體體現的是什麼?
趙喬:咱們和客戶合做是經過大量已有的功能仿生出來,在模型裏跑。4%怎麼算出來的,傳統的是95%,咱們拿着這4%,實際上就是0%。沒法檢測的數據拿過來,在這上面咱們最後作到86%,因此綜合下就是提高4%。
提問:診斷以後,故障的維護也是咱們這邊直接去完成?
趙喬:不是,咱們作預警或者提早一天或者提早半天預警,但維護仍是要人力作的。
提問:那咱們如今這個診斷系統,同時能夠處理多少個設備的診斷?
趙喬:目前由於咱們在合做的客戶其實是負責了國家電網超過一半的充電樁,因此若是是說後續要增長的話,須要買更多的資源擴容,之因此是分佈式系統,這是比傳統系統的優點。
提問:咱們如今存在多個設備須要診斷的話,診斷也是併發性的了?
趙喬:沒錯,剛纔所說的這些模型不少是跑在端上的,對於雲上的資源的依賴度沒有那麼大,只不過是把處理出來的數據在雲上作監測,理論上來說全部東西都跑在這裏,因此對這一部分的壓力不算很大。咱們作一款硬件,實際上有相似於設備標籤,若是用過MPD的話就專門針對這種標籤進行設計的。
提問:這個產品已經在實際用了是嗎?
趙喬:咱們2月份在作,今年7月份在百度開發者大會上公佈出來,由於這是個典型的To B的產品,不是To C的產品,不是天貓上能夠賣,因此有To B的流程。咱們給國家電網報了3萬份的報備量,可是這裏面還有一些沒有解決的問題。以前提到的模型,咱們如今只作了其中一部分,真實使用還有不少東西須要去作。
提問:在建模過程當中,建模和深度學習的關係,是串聯仍是並聯。
趙喬:咱們當時作了兩個算法比較,想看深度學習PaddlePaddle的結果,最終比較驗證,這是並聯關係,不是串聯。
實錄結束
趙喬,百度大數據部高級產品經理,負責百度工業大數據產品規劃及項目落地。曾在華爲、美國國家儀器從事產品、技術、銷售工做,服務新能源、國防軍工、汽車等典型製造業企業。