雲HBase建設之開篇

前言

阿里云云HBase團隊在2月份推出了雲HBase產品,此款產品的內核在集團內部已經使用了6年之久,那麼跟社區版本的HBase有怎樣的區別,咱們又作了怎樣的產品化,本系列將會爲用戶詳細介紹這些點。
雲HBase地址https://cn.aliyun.com/product/hbasesql

雲HBase

雲HBase的內核是基於開源社區1.1版本系列,在此之上深度改造,以前阿里在較早版本有較多的優化也會漸漸遷移到此版本中。目前在內部服務了整個集團的大數據結構化存儲需求,好比:平臺類需求:日誌同步服務、監控系統等;用戶物體行爲類需求:淘寶交易、收藏夾、旺旺消息、物聯網等;報表類需求:天貓大屏、商家報表等。這些有很大一部分是由於Mysql等傳統關係型數據庫不能知足需求,分庫分表又比較麻煩且不能根本解決問題。較大的一些互聯網公司,好比:google、facebook、alibaba在較早就尋求了新的解決方案-HBase。隨着互聯網的發展,咱們遇到不少中小型公司,都有數T、數P的HBase集羣,且這些集羣沒有改動過一行HBase源代碼,出現問題後也只能乾瞪眼,服務長時間不可用甚至面臨數據丟失的風險,更加不會去改造HBase以知足日益增加業務需求。
雲HBase團隊不會知足就拿開源包裝,咱們真正作的是須要深度改造內核,知足日益複雜化、多樣化的大數據存儲需求。阿里從2011年初開始步入HBase的發展、建設之路,是國內最先應用、研究、發展、回饋的團隊,也誕生了HBase社區在國內的第一位Committer,成爲HBase在中國發展的積極佈道者。過去的幾年時間,阿里累積向社區回饋了上百個Patch, 在諸多核心模塊的功能、穩定性、性能做出積極重大的貢獻,擁有多位Committer,成爲推進HBase的長遠發展的重要力量之一。數據庫

雲HBase建設

主要是兩個體系:安全

  • 管控體系:因爲咱們有數千個、甚至數萬個HBase集羣,因此,咱們必須是自動化的。這個體系建設的是怎麼去管控好10000個HBase集羣,爲數萬家公司提供雲HBase的服務。
  • 內核建設:目前雲HBase主要圍繞雲上構建HBase,須要充分利用雲的優點,好比:彈性、資源無限、隨時隨地、默認有多個可用區及多個地區。咱們主要圍繞:性能、運維、成本、安全、可用性、功能等方案建設內核。

具體會在每一個章節具體論述,因爲篇幅較多,本篇博客,只做爲指引。
hbase_數據結構

場景特性類

HBase的特性比較多,好比:TTL、離散的TTL、多版本、動態列、異步寫等等。這些根據具體的場景結合能發揮HBase較大的優點,也會有一些篇幅總結此類,固然也會穿插在雲HBase的建設之中。運維

社區HBase

咱們也會積極貢獻回社區,咱們也會積極跟進社區的新的功能,也會把社區好功能反饋到雲HBase中。異步

後記

咱們有不少功能沒有放出來,或者說在公測階段沒有,或者還來不及產品化,請必定關注咱們的產品發展。此篇博文系列,也將會列出後續雲HBase重點的特性、功能點。雲HBase團隊目的就是讓客戶能享受阿里巴巴同樣的HBase服務,每一個公司都能基於雲HBase作出本身好的產品。性能

相關文章
相關標籤/搜索