Kyligence Cloud 對接阿里雲LogHub，實現雲上準實時大數據分析一站式解決方案

前言

大數據時代，愈來愈多的企業開始尋求可進行實時數據分析的可交互方案，涉及新軟件的引入、數據流的改進等場景。Kyligence Cloud基於上述場景實現了無縫對接阿里雲Loghub，有效整合實時數據與歷史數據，爲雲上準實時大數據分析提供一站式解決方案。

關於LogHub

LogHub 是阿里雲日誌服務下的一個實時數據採集和消費服務。經過ECS、容器、移動端，開源軟件，JS等接入實時日誌數據（例如Metric、Event、BinLog、TextLog、Click等），以及提供實時消費接口，與實時計算及服務對接。此外還提供包括數據清洗（ETL），流計算（Stream Compute），監控與報警，機器學習與迭代計算的功能。LogHub 對比同類型的Apache Kafka具備使用成本低，穩定性高，安全性強等優點，已經普遍應用於阿里巴巴集團以及不少客戶的大數據場景。

關於Kyligence Cloud

Kyligence Cloud是Kyligence公司基於雲端的大數據分析服務，以Apache Kylin企業版（Kyligence Enterprise）爲核心，爲大數據分析平滑上雲提供託管式解決方案。使用 Kyligence Cloud，您能夠在公有云上快速創建大數據分析集羣，實現對海量數據的交互式OLAP分析和高併發查詢應用。

目前，Kyligence Cloud 在支持阿里雲平臺自動化部署大數據分析集羣的基礎上，實現了無縫對接 LogHub。在全圖形界面下，您能夠快速完成數據源綁定、事實表解析、數據採集、數據建模等步驟，實現對LogHub日誌流數據的近實時處理。

如今只需4個步驟，就可輕鬆實現雲上準實時大數據分析！

前期準備：

申請 Kyligence Cloud 試用並選擇阿里雲平臺，一鍵申請>>

使用 Kyligence Cloud上在阿里雲上成功部署大數據分析集羣，詳細步驟請參閱：Kyligence Cloud用戶手冊

配置對接LogHub數據源並進行後續建模分析

綁定數據源

在集羣部署成功後，點擊Kyligence Cloud左側導航欄中的數據源並選擇 LogHub ，填寫相關參數後點擊測試鏈接，成功後便可完成數據源鏈接。

選擇LogHub數據源

事實表解析

鏈接LogHub數據源後便可開始對LogHub構建表結構，LogHub日誌服務大部分都是以CSV格式進行記錄。在構建表結構時，CSV格式的流式數據沒有所對應的列名、列類型。在 Kyligence Cloud 中構建LogHub表結構時以用戶熟悉的表結構頁面呈現，用戶只需在每行列值前補充對應的列名，並選擇該列值類型便可完成將LogHub日誌流定義爲事實表。

Kyligence Cloud解析LogHub表結構

建模分析

Kyligence Cloud大數據分析引擎以Apache Kylin企業版爲核心，基於成熟的OLAP建模理論，結合創新的自動建模技術，實現海量數據分析的高效查詢加速，實現高併發的分析應用。您能夠基於數據手工進行多維建模，也能夠基於業務查詢SQL讓系統自動建模，高效實現大數據分析應用。

Kyligence Enterprise多維模型截圖

點擊查看完整視頻

總結：

經過與阿里雲LogHub無縫整合，Kyligence Cloud有效整合實時數據與歷史數據處理，將數據分析變成更加實時的可交互方案，同時大大下降了使用和分析門檻，爲用戶提供準實時大數據分析一站式解決方案。