巨杉TechDay回顧 | WARNING!您參加的數據庫沙龍熱度已爆表……

自從2008年「大數據」這一律念被首次提出以來,在過去這10年中,幾乎各行各業都或多或少受到了這一律唸的影響。與此同時,在AI、雲計算、物聯網、區塊鏈等新興技術快速發展的今天,數據庫己經成爲了決定全部應用可否成功運行的核心。但隨着業務規模的不斷擴大,各式各樣的數據正呈現指數級增加,傳統數據處理系統已不堪重負,數據庫性能問題成爲了系統穩定運行的主要瓶頸。算法

那麼,如何有效解決海量數據引起的數據庫壓力問題?如何在海量的數據中提取具備高價值的部分?如何解決多類型數據對數據處理能力的高要求?如何能使後臺數據庫適應業務模式的變革不斷升級,又能知足數據量爆增所帶來的存儲、查詢、分析、挖掘等需求呢?爲破局以上難題,讓開發者們更好地瞭解數據庫架構設計性能優化方式,巨杉數據庫特別舉辦「巨杉TechDay:數據庫架構設計與性能優化」 北京站活動,邀請多位數據庫方面的專家帶來精彩紛呈的技術乾貨、分享實實在在的應用實踐經驗,讓現場數百位開發者收穫滿滿。數據庫

clipboard.png

PB級多源異構數據管理實踐緩存

巨杉數據庫技術總監,做爲第一位演講嘉賓,詳細介紹了在數據量級巨大且複雜的應用需求場景下,巨杉數據庫是如何實現數據存儲與交易等需求的。性能優化

clipboard.png

嘉賓從應用角度切入本次主題分享,應用程序開發從煙囪式架構逐漸向分佈式轉型,在這一過程當中,數據庫如何應對微服務應用架構成爲一大難題。此時,分佈式數據庫因規模大、容量大並支持高併發的特性,能夠更好的存儲複雜多樣的數據。服務器

clipboard.png

clipboard.png

而巨杉分佈式數據庫所以脫穎而出,徹底自研的分佈式存儲引擎,利用C++實現一套完整分佈數據庫,這套分佈式數據庫有本身獨立的計算層。此外,巨杉分佈式數據庫不只支持聯機交易、數據中臺、內容管理三大核心應用場景,更支持關係型、文檔型、對象型等多種數據庫實例,輕鬆解決多類型數據對數據處理能力的高要求。網絡

clipboard.png

最後,嘉賓重點爲咱們介紹了巨杉數據庫的功能特色,首先,數據分片能力,利用哈希算法進行分區分片;其次,高可用能力;第三,水平擴展能力;第四,強大的分佈式事務能力;第五, MySQL兼容能力。架構

經過嘉賓深刻淺出的爲你們介紹關於巨杉數據庫的特色、能力以及應用場景,開發者們不只加深了對分佈式存儲的基本認識,更有機會利用巨杉數據庫,解決更多實際問題與難題。併發

clipboard.png

SQL-NoSQL-NewSQL 數據庫架構演變全解析運維

天下大勢,分久必合,合久必分,沒有什麼是永恆的。在SQL的發展過程當中,佔據數據庫市場絕大部分的SQL、NoSQL、NewSQL,目前也呈現出融合的趨勢。在當下對於企業而言,爲項目找到最適合的工具是重中之重;對於我的而言,最理想的狀態則是企業所選擇的工具,我恰好會用。雲和恩墨數據庫專家張甦爲你們分享了SQL、NewSQL和NoSQL數據庫的演變過程。機器學習

clipboard.png

張甦在爲現場的開發者詳細的介紹一些主流產品後,提出了「在數據量爆發式增加,數據存不下來該怎麼辦」的問題。對此他爲現場的開發者例舉多個解決方法並做出總結。

首先,利用SQL模型-轉換爲微服務,集中化存儲,其結論是數據高度耦合,若是增長微服務數量,底層數據庫沒法擴展,總體性能仍是會受到限制;SQL模型-轉換爲微服務,分散化存儲,結論爲運維成本高,底層數據庫仍是會存在容量上限問題,還須要考慮擴展問題。

因此,爲了達到水平擴展能力,解決數據存不下的問題,NewSQL模型因擁有多模多租戶、SQL兼容、分佈式擴展、ACID事務的支持,強一致性等特性,做爲更加簡單的存儲模型,成爲企業與開發者絕佳的選擇。

clipboard.png

clipboard.png

數據庫性能展現平臺-CleverDB構建之路

京東數科數據庫工程師曲喆做爲第三個出場的講師,直奔主題爲你們分享了由京東數科自主研發的數據庫展現CleverDB平臺,經過該產品的背景、功能以及設計實現三部分介紹,讓現場的開發者更加直觀的瞭解該平臺以及它所賦予的強大功能。

曲喆強調,爲幫助DBA人員消除DBA經驗運維與運維差別,從而提高總體數據庫運維能力;針對研發人員,意在爲其掃除研發盲區,激發研發賦能,推崇自主優化;而對於管理者來講,他們須要資源利用率審計,合理資源評估,全面的資源信息展現。爲此,京東數科推出這款CleverDB產品,大大知足三方需求。

clipboard.png

clipboard.png

接下來,曲喆詳細介紹了CleverDB的功能特性,CleverDB採用大數據計算和機器學習技術,對數據庫性能進行全面診斷,以用戶視角,進行性能指標的多維展現,幫助用戶快速瞭解數據庫運行情況、智能分析和定位問題並進行故障解決。

clipboard.png

具體而言,CleverDB會以多維度、細粒度診斷,經過會話、空間、性能、慢SQL等維度分析實現對數據庫進行全方位診斷;化繁爲簡的將全部資源信息、性能狀態和問題隱患直觀展現,按期推送巡檢報告;並推出智能優化服務,多個功能利用神經網絡、機器學習和大數據計算等技術實現智能化解決方案。

clipboard.png

遊戲數據庫管理與性能優化

最後一位與你們分享的嘉賓,光宇遊戲資深DBA餘傳波,餘傳波老師的出場也將主題分享推向了高潮。

clipboard.png

餘傳波強調,傳統的關係型數據庫承載了太多的業務與業務邏輯,致使本來不應由數據庫承擔的東西都放到數據庫層,而遊戲行業則是爲數很少的正常使用數據庫功能的行業。

因此,遊戲數據庫具備如下幾點特性,首先,遊戲數據庫業務邏輯簡單沒有複雜的SQL語句,不可能出現過多的存儲過程和觸發器;其次,自帶分庫屬性,所登錄的區組映射到數據庫中,就是登陸到某一個數據庫中;最後,遊戲數據可以離線,區別於相似交易庫不能離線,遊戲操做的數據庫因自帶本地緩存,因此是能夠離線的。

clipboard.png

接下來,餘傳波介紹了遊戲數據庫的管理的必經之路,首先,標準化,強制要求每臺DB實體機器配置/目錄結構/文件命名規則/定義腳本模板;其次,半自動化,經過自動化工具進行批量運維,全部操做只需登陸一臺集控服務器執行批量併發操做的腳本,獨立的版控服務器,經過並行的主動推送;最後,平臺化,多個運維繫統相互協調配合實現,全部的操做在WEB管理平臺就可完成。除此以外,他更貼心的向每個DBA表示,永遠記得給本身留一條後路,不少例子告訴咱們,最後一份備份文件十足重要。

clipboard.png

隨着餘傳波老師精彩演講的結束,本次沙龍技術的分享也接近尾聲,現場的技術小夥伴們認真傾聽積極互動,與現場的技術大咖共同見證着巨杉數據庫的神奇魅力,並深入的體會到巨杉在數據庫架構設計與性能優化方面的嘗試與創新。爲助力開發者在大數據時代抓住更多機會,在創新的海洋裏持續遠航,巨杉TechDay將持續爲你們帶來更多精彩內容,若是你還意猶未盡,那咱們下一次沙龍活動再會吧!

clipboard.png

clipboard.png

PS:關注公衆號,發送「0727」,或按圖示操做,便可獲取PPT~

clipboard.png

clipboard.png

相關文章
相關標籤/搜索