記一份電網信息化建設企業信息分析平臺規劃

原文: 記一份電網信息化建設企業信息分析平臺規劃

　　在項目建設過程當中，應需求，其規劃大數據信息化平臺建設整體方案。

1、   整體原則

　　雙創信息化平臺建設遵循技術創新、應用創新，遵循國家、電網公司技術導向，充分考慮技術先進性，應用創新性。建設具有公司特點、具有創新特性、符合公司規範、知足公司發展及應用的一站式大數據信息化平臺，提高公司大數據應用建設靈活性，充分發揮公司大數據資產價值。

　　雙創信息化平臺是在全業務統一數據中心上的完善、細化和提高，而又不對原架構形成指標考覈影響。平臺是技術、管理和應用的全面創新。總體平臺獨立部署，技術上借鑑全業務統一數據中心建設的技術積累成果，複用部分全業務統一數據中心在源系統數據接口爲原系統減負，頂層架構遵循國網公司全業務整體設計，功能、模塊、組件細化設計建設全新的、開放式平臺，基於創新平臺建設出彩大數據應用可以無縫遷移到全業務以向國網公司彙報。

　　創新平臺定位爲公司大數據分析應用創新建設環境，旨在支撐大數據分析應用建設開展，遵循國網公司數據不出平臺的建設要求。

2、   整體方案

　　信息化板塊整體框架規劃遵循國網公司信息化建設標準體系、運維管理體系、安全管理體系。整體技術選型採用混搭技術架構，整體框架以下圖：

信息化板塊整體框架圖

 

1、基礎設施

　　主要包括機房、網絡、主機、存儲、負載均衡設備、安全裝置等。

2、基礎運維架構

　　包括主機服務管理、網絡服務管理、主機監控、機房管理、用戶桌面管理等。

3、數據源層

　　包括公司統推一級、二級系統、自建系統，外部系統，其中對全業務統一數據中心建設已接入系統進行梳理，創新平臺數據接入工做部分接口沿用全業務源端接口;一級系統數據進行業務梳理申請下發,該部分根據需求合總部全業務建設進度進行細化;外部系統目前已有得外部系統數據進行梳理接入,考慮到外部數據多樣性,考慮創建外部數據接口。

4、數據採集層

　　創建離線同步、準實時同步、實時同步功能，創建消息中間件（離線、準實時、實時）同步結構化數據、量測數據，以及具有消息開放能力。

5、數據存儲層（數據倉庫）

　　創建三層架構數據倉庫，操做數據層（ODS）、公共明細層（DWD）、公共彙總層(DWS)。操做數據層存儲源系統操做數據，公共明細層逐步創建，主要是通過惟一來源確認得主要業務數據，公共彙總層基於公司層面大數據建設，從度量、維度等角度創建彙總數據。基於數據採集層消息中間件創建緩存應用，支撐準實時業務應用相對靜態數據應用。

6、數據計算層

　　創建離線計算、實時計算框架，主要採用數據庫計算和大數據計算框架。對外提供數據計算運行能力。創建存儲元數據管理區，管理數據計算數據源調用。

7、數據服務層

　　該層包括數據計算服務和工具數據源層。數據計算層，基於開發語言和關係映射框架（ORM、Hibernate）封裝數據計算服務，支持SQL和NoSQL，知足不一樣能力水平廠商的數據計算開發。工具數據源層（應用數據層，ADS），是指分析所用工具的數據源，存儲數據計算集，按照專業、主題、單位進行劃分，技術選型上可用（PG、HBASE等）。

8、技術工具服務層

　　主要包括數據分析工具、數據挖掘工具、數據可視化工具。集中自開發應用頁面部署環境等。其中自開發可視化應用需經過權限集成。

9、應用發佈層

　　統一的應用審覈發佈、訪問出口，包括受權管理、質量管理、應用狀況分析、應用商店、綜合評價等，在線管理應用生命週期。

10、應用層

　　基於平臺建設的大數據應用，三層應用架構，支撐高層領導決策、中層管理提高、基層業務優化。

11、平臺管理

　　共包括三大部分：公共組件模塊、數據資產管理模塊、平臺自動化運維模塊。創建數據資產管理體系、平臺運維體系、平臺開發規範、平臺應用規範等。

11.1．公共組件模塊

　　建設數據靜態脫敏、數據動態脫敏組件，應用於數據設計、測試、開發環節。創建公用數據接口（Open Api），統一開放式應用環境接口調用。

創建消息中心，在線發佈服務目錄、規範等。

11.2．數據資產管理模塊

　　創建數據資源管理，包括元數據管理，數據權限管理（數據權限隔離）、在線受權，數據質量管理，數據應用管理，溯源數據管理等。數據資源對外在線開放。

基於該模塊創建數據資源管理規範體系，數據應用規範等。

11.3．平臺自動化運維模塊

　　包括接口運維和、數據運維兩大模塊，以及安全管理、監控警告等。

　　造成平臺運維體系，提高平臺服務能力。

12、平臺服務模塊

　　包括統一開發平臺和信息在線開放平臺。

12.1．信息在線開放平臺

　　創建資源在線申請、數據字典在線查看（可提供脫敏的樣例數據）、溯源標在線查詢確認等。在線管理公司分析應用建設。創建公司分析應用上、下線管理規範。

12.2．統一開發平臺

　　包括數據全過程開發、應用全過程開發、應用運維管理等。

　　創建應用生命週期管理規範。

3、   建設內容

　　創新平臺整理建設思路爲整體設計、分步實施，中心主體內容建設與對外服務並行。具體建設以下：

　　一是規劃軟硬件資源，包括機房、主機、網絡、存儲等。資源到位即開展環境搭建。

　　二是開展中心運行環境搭建，包括各層運行環境。

　　三是研發數據採集層組件，開展數據接入工做。

　　四是搭建統一開發工具，對外開放數據開發、分析應用環境服務，同步創建服務目錄、應用規範、管理規範、分析應用建設規範。

　　五是開發數據資源管理系統，同步藉助信通公司運維團隊開展數據字典梳理工做，創建數據字典開放架構，創建數據分權限、分單位、受權功能。

　　六是研發公共接口、公共組件、OpenApi對外開放，研發統一應用法管理平臺。

　　七是研發數據運維、接口運維自動化模塊，提高平臺可用性。