基於關係型數據庫和ES搜索引擎,實現多源百億級,數據的大數據分析方案

背景：

隨着公司各項業務的快速發展與擴張，服務器和各類應用系統隨之而增長，同時對應用系統、服務器的穩定性，可持續性提出了更高的要求，公司但願搭建一套綜合的分析與監控系統，爲各個部分提供決策支持。

須要解決的問題：

（1）數據孤島問題，數據分散在不一樣的業務系統當中；

（2）服務器日誌信息如何有效蒐集與存儲；

（3）業務部門分析需求不固定，常常有新的需求提出，如何知足各部門的需求；

（4）基於上面的問題如何快速搭建多源的可視化分析系統；

技術選型與總體架構設計：

方案一：業務數據ETL，基於數倉架構模式

方案二：採用數據直接模式

（1）日誌採集主要經過logstash來採集，而後存儲到搜索引擎中；

（2）業務系統數據能夠採用兩種方案架構第一種是建設數倉，將不一樣數據聚集到數倉中；第二種：採用直連的方式直接對接大數據分析平臺；

（3）大數據可視化分析採用NBI大數據可視化分析平臺，能夠實現多源數據分析，能很好的支持Elasticsearch，關係型數據庫，大數據存儲平臺的數據接入；經過拖拽式和高度靈活的佈局模式，能夠快速構建各種可視化分析報告應用；經過權限控制，設置編輯與訪問權限，保障企業數據資產的安全有效利用；

（4）最終經過NBI大數據可視化分析平臺構建各種數據分析應用，輸出給對應部門人員使用。

注意事項：

（1）Elasticsearch須要安裝一個sql插件elasticsearch-sql，根據es對應版本下載插件，便於作交互式分析；

（2）NBI大數據平臺中，目前對Elasticsearch支持的建模方式爲SQL建模

操做步驟：

（1）在NBI大數據平臺中，經過數據管理模塊，添加Elasticsearch數據源；

數據源鏈接

（2）測試鏈接，檢驗是否能正常鏈接到Elasticsearch

鏈接測試

（3）鏈接成功，經過SQL創建工做表模型

建立數據工做表模型

（4）構建數據報告：

可視化報告構建

（5）設置訪問權限：

權限設置

以上案例經過NBI大數據可視化工具（nbi.easydatavis.com:8033）完成