7月30日，Kyligence 在上海成功舉辦 Data & Cloud Summit 2021 行業峯會，本次峯會以"雲 · 數據 · 智能"爲主題，聚焦數據服務與管理領域的前沿趨勢、領先技術及最佳實踐。峯會現場，中國通訊學會副祕書長文劍，以及經濟學博士、亞洲金融合做協會創始祕書長楊再平進行了開場致辭；來自Gartner、招商銀行、微軟、聯合利華等企業嘉賓進行了精彩的主題演講，同時各領域合做夥伴也帶來了金融科技、雲上創新、數字化轉型、開源有道四場近 30 個專業的主題分享，總計超過 1000 位嘉賓齊聚現場並進行了熱烈討論。數據庫
Kyligence 聯合創始人兼 CEO 韓卿在現場正式對外宣佈了企業全新"智能數據雲"戰略、Kyligence 最新產品以及一系列合做夥伴計劃。如下是韓卿在峯會現場的演講實錄，他從專業的視角分析了目前企業數據管理面臨的痛點，以及進一步詳細地闡述了"智能數據雲"戰略，但願能夠給您帶來一些啓發。後端
如下是演講正文：安全
你們早上好！網絡
很是高興在今天舉辦 Kyligence 行業峯會。很是遺憾去年的疫情讓咱們缺失了一屆，不過此刻的咱們也很是幸運，「煙花」颱風剛剛過去，今天早上黃浦江畔晴空萬里。架構
Kyligence 已經成立五年了，五年來離不開你們的支持，在這裏我僅表明中國和美國三百多位小夥伴向客戶、合做夥伴、投資人，以及各行各業關心 Kyligence 成長的關注者們表示衷心的感謝，感謝各位在過去對咱們的支持、信任，尤爲重要的是鞭策！過去五年，Kyligence 有很是多的總結和相應的業務實踐，因此今天很是榮幸可以基於過去對中國、美國以及亞太市場的業務實踐和對將來技術趨勢的觀察和了解作一些探討，此外，接下來我也會向你們彙報一下 Kyligence 將來戰略的改變和產品的趨勢。併發
行業假設發生變化
你們知道從上世紀70年代 AC 尼爾森公司介紹了數據集市開始，數據倉庫這個技術成爲一個必不可少的基礎架構。尤爲是 Bill Inmon 、Ralph Kimball 兩位大拿奠基了數據倉庫的理論基礎，在這以後數據倉庫在 Bill 的自頂向下模式和 Kimball 的自底向上模式之間引發了不少爭論，你們相愛相殺了不少年。在當年構建數據倉庫的時候有一些假設，例如數據相對比較少，計算、存儲比較有限，網絡處於低速時期等。運維
那麼問題來了，三四十年以後，在雲的時代，數據倉庫的行業假設跟之前是否是同樣呢？作任何的技術架構，若是它的行業假設有一些變化，那隨之採起技術的選擇、架構必定是不同的。那咱們今天認爲，在雲的時代這些行業的假設已經有了巨大的、根本性的改變。今天我很是榮幸能夠跟你們分享一些咱們在這方面的思考以及總結。機器學習
首先，過去數據倉庫的構建模式是集中式的，剛纔舉例介紹到，由於之前人沒有很是集中，咱們認爲把數據集中起來就行了，因此解決了數據煙囪（信息孤島）問題。但今天數據是自然分佈的，數據不只在不一樣的系統裏面，它們甚至在多個雲上，更甚者在一個雲、多個數據庫裏面。分佈式
其次，數據量已經大到不可能集中起來，幾十個 PB 數據只是一個「起步價」。這麼大的數據量，讓特別是在雲環境下的數據傳輸變得再也不現實。高併發
再看，隨着 GDPR 數據隱私法案的來臨，企業不可能把全部數據都進行彙總。
因此整個數據倉庫構建模式從「Collect」——把全部數據收集起來，到「Connect」——全部數據有機地鏈接起來，這是第一個改變。
第二，使用數據的人發生了根本性改變。之前都是決策者、專家去使用這些數據，或者有一個專業化的團隊，包含項目經理、各類工程師等，通過三個月、六個月給出一個決策方案。而今天使用數據的人已經發生了根本性改變，他們是一線工做者，他們是非技術或者分析崗位的職場人。咱們發現企業不可能爲每個業務人員配備一支龐大的分析團隊，並且整個數據 IT 構建模式也發生了巨大的變化，沒有那麼多人去服務它，因此對企業來講，要麼投入更多人力、物力賦能數據管理，要麼就用技術去改變它。
第三，數據的消費方式發生了變化。之前是從已知問題找已知答案，如今須要從未知問題找未知的答案。早前有一個客戶來和我溝通，他說：「假設我是一個數據分析師，我想要分析…"。我說：「停，不對。」如今的業務人員沒法瞭解這麼詳細，他們但願的是你告訴我有什麼，企業能夠基於已知的一些數據、文化、能力，並沉澱以後自動推薦給須要的人。例如咱們服務平安銀行的時候，當工做人員去看一些指標，對方怎麼知道如今存款指標很是重要呢？這些應該是系統自動告知，而不是工做人員本身想出來的。同時，如今你們習慣用兩樣東西，一是手機，二是搜索。因此，市場必須下降整個數據使用的門檻，用技術迭代來幫助客戶推送更具價值的數據。
隨着數據愈來愈多，使用端愈來愈多，數據的蒐集與管理變得難上加難；另外一方面，企業又但願數據可以多面化，顧及到、賦能到每個業務人員，這就致使了二者之間不可調和的矛盾越發明顯，愈來愈混亂。如今的 CIO 已經至關焦慮，咱們發現他們找數據的時間遠遠超過使用數據的時間。「用1個月時間找數據，分析一下只要2分鐘」。現狀是企業根本不知道有價值的數據在哪裏，之前是沒有數據，因此企業但願 IT 把數據所有收集起來；而今天是數據太多、信息過載，企業已經不知道該要什麼類型的數據。
因此，基於咱們過去對業務的一些實踐以及與客戶的探討，咱們將將來的戰略定義在以雲技術爲核心，以人工智能爲推進來解決全部的技術和數據的問題。因此咱們全新的戰略將變成「智能數據雲」。
智能數據雲應運而生
咱們認爲，將來使用數據應該像使用雲計算同樣簡單和方便。今天你須要一個算力的時候，根本不須要知道這些算力是來自英特爾、戴爾，仍是惠普，只須要向底層雲廠商靈活申請內存、帶寬、使用時間便可。如今行業須要的是平臺向數據申請人直接給出客戶數據、訂單數據、實時部署數據等。平臺應該要幫企業解決這個問題，這就是一個新的理念或戰略——智能數據雲，咱們能夠幫助企業解決這個問題。
Kyligence 在不斷加強分析能力以外，會向數據管理轉移，將人工智能逐步引入到平臺裏來。咱們會逐步去掉 Hadoop ，平臺也會更加智能化和自動化。雖然今天 Hadoop 依然是極具優點的大數據平臺，但五年之後、十年之後，隨着下一代雲技術的發展，數據服務與管理會有新的不同，咱們也相信技術會往雲這個方向進行轉移。
上面這張圖很好闡述了 Kyligence 智能數據雲平臺——咱們不但願這個平臺把客戶全部的數據彙總到這裏來，咱們要幫客戶 connect 全部的數據源，平臺可以自動識別最有價值的數據，但願用最簡單的方式去讓業務人員使用咱們的數據，去賦能數字化轉型。
我展開來說一下：
第一，咱們會以一個受治理的數據集市的概念作這個事情，用統一的指標口徑，統一的語義標準，統一的數據服務進行管理；
第二，咱們會專一作 AI 加強的數據管理，AI 加強讓數據分析與管理的效率大大提升，機器代替人能夠作不少表格的工做，把人解放出來作更有價值的事情，好比數據的審計等等；
第三，咱們會採用敏捷的雲原生架構，支撐業務敏捷化，尤爲疫情之後，整個平臺不能變成雲平臺的話，在劇烈變化中是很難適應的。
Kyligence v4.5 新品發佈
基於上述理念，咱們也更新了自身的產品，Kyligence v4.5 將會更加知足市場和客戶的需求，這個產品會以企業版以及公有云版本爲主，接下來具體展開介紹一下相關特性：
這是咱們總體的架構。中間是剛纔介紹過的受治理的數據集市，企業不須要把全部數據都放到我這裏來，我能夠經過各類各樣的方式鏈接起來，甚至鋪裝到原始的數據當中去。這樣的好處是個人平臺能夠變成你的統一的訪問入口，在這個過程當中我知道你想要什麼數據以後，就能夠自動化地去幫你去管理數據集市了，這就是 AI 加強帶來的核心能力。同時看到底層，在最先基於 Apache Kylin 的能力上，咱們引入了 Clickhouse，更好地支撐全場景 OLAP 。
今天來講，在整個消費端，咱們已經從支撐大量的企業內部分析應用轉換到支撐的是應用自己，已經有美國和中國的客戶基於咱們的技術在互聯網上提供這樣的能力，甚至提供數據產品從新賣給了客戶。將來全部的軟件公司都將成爲一個 SaaS 公司，每一個 SaaS 公司都會是一個數據公司，你的數據怎麼去變現？你的數據怎麼去作更好的服務？咱們在服務了不少客戶以後有了一些經驗。
另外，咱們在美國的客戶也有很是好的應用，它用 APP 作了一個市場風控模型，整個底層的服務平臺來自咱們，部署在整個 Kyligence 的雲平臺上，帶來很是大的效率和能力的提高，目前智能數據雲平臺已經對接到了各大公有云平臺，後面我也會介紹私有云的目標。
總之，經過咱們新的產品，用 AI 加強的數據服務和管理等能力，打造全場景的OLAP，能夠更好幫助企業提高數據服務與管理的能力。下面，我想重點強調幾點：
01 ClickHouse 的整合
Clickhouse 過去一兩年在中國特別地火，這是一個很好的技術，不過它有它的優點，也有劣勢。其實 Apache Kylin 一直在整個聚合查詢上作的不錯，咱們的客戶說要不要把 Kylin 和 Clickhouse 一塊兒合併嘗試一下？這個需求提出後，咱們看到了一些可能。經過 Kyligence 智能分層存儲（Smart Tiered Storage™️）技術，將 ClickHouse 有機融合在 Kyligence 產品的基座中，在原有聚合分析的高性能之上，更有效提高了明細分析、Ad-Hoc 查詢等場景的性能和優點。
02正式支持批流一體能力
全場景的OLAP 還有一個很重要的方面就是正式支持批流一體能力，進一步擴寬了全場景 OLAP 的能力，僅經過一個數據模型、一個 SQL 語句，就能同時接入批數據和流數據，對數據應用提供統一的查詢接口，助力企業極簡化數據應用架構，使用同一個系統和架構來同時知足不一樣需求，以更快地響應業務敏捷性。
03持續對 AI 加強引擎的投入
另外一方面，咱們也會持續在 AI 加強引擎上不斷地投入和突破。基於 AI 加強引擎，Kyligence 可以根據業務分析行爲自動推薦數據模型，幫助企業從海量的分析負載中識別和沉澱數據資產，並根據業務變化智能更新模型，實現自動化構建和管理。
除此以外，AI 加強引擎還可以自動清理低效存儲，不斷優化 TCO。大量的數據被分析，數據倉庫拼命地作項目，可是清理這件事情不多發生。有銀行的客戶跟我說有 10 萬張報表，平均每張訪問量很是低，訪問量低浪費了大量的計算資源、存儲資源，浪費了大量的人工去作這些工做。今天 Kyligence 能夠告訴你再也不被使用或者使用率很低的數據，能夠挪到歷史存儲區。
結合前面說的，經過不一樣的數據源讓咱們這個數據服務和管理平臺成爲統一訪問數據入口以後，咱們有能力告訴你最有價值的數據是什麼，數據資產應該如何被管理、並驅動業務決策產生價值。
04 統一的語義層
此外，咱們但願經過統一的業務語義來支撐不一樣的業務場景，例如 Kyligence 對電子表格的百億級業務支撐是全球獨步天下的，這點在中美兩國都有不少客戶實踐。固然這其中還有不少挑戰，例如電子表格連在後臺仍是面臨一些壓力，可是能夠告訴你們的是，咱們的創新取得了新進展，經過專利技術的突破，能夠直接賦能到一線的電子表格用戶。
經過不斷地服務客戶，咱們發現一個使人驚訝的事實，某一個客戶全國大概有上萬家門店，只有八九我的的 IT 團隊，負責人須要天天下班以前導出數據讓他們第一時間拿到數據作分析，這是中國真正的現狀。這就帶來幾個問題：
- 安全問題，數據滿天飛的時候，安全面臨着嚴峻的考驗；
- 業務的定義其實永遠不在管控的範圍內，散落在各個地方；
- 整個後臺沒有業務的積累，永遠只是在導出數據。
咱們但願構建統一的業務語義，能夠在不一樣 BI 之間使用，以及中央管控整個安全，其實會帶來很是好的價值。最重要的是，在這個過程當中業務使用的痕跡被留了下來。每每咱們業務跟 IT 的挑戰是，業務很難告訴你他想要什麼或者如何分析的，他們沒有辦法用 IT 語言告訴後端。可是若是後臺轉化的時候就能夠經過機器學習的方式推薦給須要的人。
05 提供企業級運維管理服務
產品新版本會提供企業級的運維管理能力，把全部的集羣管理起來，甚至能夠作到多租戶的管理，經過指標監控、告警等實現自動化生產運維，以知足銀行、保險等行業嚴格的 IT 合規要求。咱們有很是好的監控統計，甚至這些能力能夠被開放出來，經過 API 接口組合到客戶本身的運維和管控系統裏去。關於信息安全和合規，目前咱們已經拿到了 SOC 2 Type 一、ISO27001 信息安全管理體系和 ISO9001 質量管理體系。
目前，Kyligence 產品已經支持多個公有云平臺，包括微軟 Azure 、亞馬遜 AWS ，今年六月份剛剛支持了華爲雲，這個合做也幫咱們拿下了泰國的單子。後續還會登錄谷歌雲、阿里雲、騰訊雲。咱們將在整個公有云的平臺上不斷地投入，去支持更多的應用場景。將來咱們也但願能保證咱們的客戶在多個雲的不一樣架構和平臺上，業務的使用方式、體驗和接口都是一致的，即便你遷移到一個雲平臺，上層應用不用改變。在公有云上，咱們徹底沒有了 Hadoop 的依賴，只依賴了雲的對象存儲和計算資源，能夠作到自動縮容，自動監控。
不過，咱們仍需考慮到還在使用私有云的客戶，他們該怎麼辦？隨着企業對私有云架構的需求高漲，Kyligence 也正式推出玄武計劃，加速下一代基於 Kubernetes 及分佈式對象存儲等架構的私有云產品落地的進程，Kyligence 將爲大型企業級客戶提供私有云環境運行 AI 加強數據服務與管理的能力， 目前實驗室已經完成了對接和測試。
我很喜歡玄武計劃這張圖，這張圖是龜和蛇的合體。爲何選這個？第一這表明海，若是公有云在天上，那咱們想找一個地上的海。第二叫穩，玄武帶來的穩定，對業務架構很重要。第三叫作長壽，咱們但願技術架構或者平臺對市場的影響時間能夠更加長久，咱們也但願以此爲機會，鼓勵咱們的客戶、合做夥伴能夠加入到咱們的共創計劃中，用業界的能力一塊兒去打造基於私有云的業務架構。
另外，我也很高興宣佈今年咱們升級了業務合做夥伴體系 Kyligence Partner Network，聯合全球的合做夥伴去構建數字生態能力，對於咱們公司的定位來講，咱們是專一在整個產品和技術的研發上，但願在這個點上作到更深、更強，跟更多的合做夥伴作更多的聯合。
數據愈來愈多，數據愈來愈重要。咱們但願數據可以更好地服務人類，而不是讓咱們成爲它的奴隸。因此今天很是高興跟你們宣佈 Kyligence 將來的新願景——改變人類使用數據的習慣。咱們但願用更大的能力去賦能到從一線業務人員到高層決策者，可以去改變整個數據的使用方式和方法。很是感謝你們對 Kyligence 的承認和支持，Kyligence 將繼續秉持專業的態度服務客戶，也感謝各位合做夥伴參與其中，一塊兒創造數據服務與管理的新未來。
關於咱們
Kyligence 由 Apache Kylin 創始團隊建立，致力於打造下一代智能數據雲平臺，爲企業實現自動化的數據服務和管理。基於機器學習和 AI 技術，Kyligence 從多雲的數據存儲中識別和管理最有價值數據，並提供高性能、高併發的數據服務以支撐各類數據分析與應用，同時不斷下降 TCO。
Kyligence 已服務中國、美國及亞太的多個銀行、保險、製造、零售等客戶，包括建設銀行、浦發銀行、招商銀行、平安銀行、寧波銀行、太平洋保險、中國銀聯、上汽、一汽、安踏、YUM、Costa、UBS、Metlife、AppZen 等全球知名企業和行業領導者。公司已經過 ISO9001，ISO27001 及 SOC2 Type1 等各項認證及審計，並在全球範圍內擁有衆多生態合做夥伴。
Kyligence 得到了來自紅點、思科、寬帶資本、順爲資本、斯道資本（富達國際自有投資機構）、Coatue Management、浦銀國際、中金資本旗下基金、歌斐資產、國方資本、ASG、宏兆基金、浦信資本等投資機構的多輪投資。目前公司已經在上海、北京、深圳、廈門、武漢及美國的硅谷、紐約、西雅圖等開設辦事機構。