八年技術加持,性能提高10倍,阿里雲HBase 2.0首發商用

摘要: 早在2010年開始,阿里巴巴集團開始研究並把HBase投入生產環境使用,從最初的淘寶曆史交易記錄,到螞蟻安全風控數據存儲,HBase在幾代阿里專家的不懈努力下,已經表現得運行更穩定、性能更高效,內部HBase集羣超過萬臺的規模,單集羣超過千臺,是集團核心數據庫產品之一,也是國內甚至國際上絕對的HBase大戶。html

阿里雲HBase 2.0成長手記,含着金湯勺出身數據庫

HBase自己是一個分佈式存儲、數據庫引擎,能夠支持千萬的QPS、PB級別的存儲,這些都已經在生產環境驗證,而且在阿里得以驗證。api

早在2010年開始,阿里巴巴集團開始研究並把HBase投入生產環境使用,從最初的淘寶曆史交易記錄,到螞蟻安全風控數據存儲,HBase在幾代阿里專家的不懈努力下,已經表現得運行更穩定、性能更高效,內部HBase集羣超過萬臺的規模,單集羣超過千臺,是集團核心數據庫產品之一,也是國內甚至國際上絕對的HBase大戶。安全

爲何HBase會受到大客戶的青睞。首先在這個上雲的時代,在雲上,對於引擎最爲核心的就是存儲計算分離,存儲能夠按需計費,起碼得彈性伸縮。計算則按節點存儲提供,徹底按照QPS計費,要麼費用高得嚇人,要麼難以知足更多的場景。架構

好比存儲10M,到底算一次QPS,仍是多少次。 因爲HBase天生就是存儲計算分離,自然比較適配雲上的架構,能夠說到了雲上,HBase更加具備優點。併發

因此國內大型互聯網企業內部都有大量的HBase集羣,尤爲阿里更甚。自2012年誕生第一位「東八區」 HBase committer,到今天,阿里巴巴已經擁有3個PMC,6個committer,是中國擁有最多HBase committer的公司,其中HBase內核中超過200+重要的feature是阿里貢獻。除了擁有強大的內核團隊和內核能力,HBase在內部通過雙十一等超級業務的千錘百煉,鍛煉出一系列的完善的產品形態和企業級能力。分佈式

潛心修煉八年,終成HBase2.0高併發

基於阿里長達8年和超萬臺實踐經驗和技術積累的延伸,ApsaraDB for HBase在基於社區的HBase的基礎上,推出了雲HBase服務。創建在阿里雲龐大生態體系下,根據雲環境生態和HBase存儲系統的特色,推出適合企業嚴苛要求的雲HBase存儲系統。
HBase 2.0在性能,穩定性上作了一系列內核架構級別優化。此次阿里雲基於社區HBase 2.0穩定版本基礎上,進行了進一步一系列性能和穩定性優化和測試驗證。性能

這次首發雲HBase 2.0雲服務,讓用戶能夠第一時間體驗到阿里技術加持的HBase 2.0新版本。測試

首先是針對企業不一樣的使用環境,不一樣的SLA訴求,雲HBase一共提供3個版本,分別知足開發環境,在線業務,以及金融級業務的訴求。單節點版本,低廉的價格用於開發測試場景,集羣版本,99.9%可用,知足企業在線業務訴求,支持最高5000萬的QPS和10P的數據。還有支持金融級高可用的雙活版本。全部版本都支持11個9的數據可靠性,無需擔憂數據丟失。

除了完善的產品形態,針對企業應用中成本、安全、穩定性、易用性等諸多訴求,阿里雲HBase提供了強大的能力,例如存儲計算分離,按需彈性能力; 數據備份恢復能力;數據冷熱分離和分級存儲能力;SQL接口和強大的二級索引和倒排索引能力;多層次安全能力等等。

細數ApsaraDB HBase典型場景
雲HBase已經經過阿里雲的公共雲、專有云及混合雲的形態對外服務,用戶覆蓋社交、金融、車聯網、物流、零售、電商、共享出行等數十個行業,幫助用戶頂住千萬級QPS的業務壓力,以及PB級數據高效存儲和處理。

HBase2.0支持多region replicas服務,充分利用集羣資源支持更高併發隨機讀。進一步增強了HBase高併發多讀能力,所以很是適合車聯網等物聯網場景。

除了在物聯網場景的應用,咱們知道很多的頭條類、新聞類的的新聞、網頁、圖片存儲在HBase之中。HBase2.0支持中等對象存儲,兼容原生api讀寫訪問以及bulkload等,合適企業存儲一些附件文檔、圖片數據,而不須要企業另選其它對象存儲系統,大大簡化企業後臺數據架構。在存儲上支持各種數據,包括日誌、訂單、交易數據、消息等,在線實時寫入,實時查詢。

經過對讀寫全鏈路優化,rpc改進等,比隨機讀寫延時更低。同時知足了金融級分控,推薦等核心場景的極致時延和穩定性要求。

小結
歷經近8年的技術沉澱,阿里巴巴大數據NoSQL數據庫處理技術的精華沉澱在HBase上,後者成功支撐了成功支撐了阿里經濟體中最大的NoSQL業務體量,是阿里大數據處理技術的核心組成部分,當前將這項技術應用到廣大企業中,助力企業發現數據價值。

瞭解更多關於阿里雲HBase 2.0請戳:https://promotion.aliyun.com/ntms/act/hbaseproduct20.html?tlog=out_aiticai_feature_20181128

原文連接

相關文章
相關標籤/搜索