騰訊劉金明：騰訊雲 EB 級對象存儲架構深度剖析及實踐

時間 2020-01-10

標籤騰訊金明對象存儲架構深度剖析實踐欄目騰訊简体版

原文原文鏈接

歡迎你們前往騰訊雲+社區，獲取更多騰訊海量技術實踐乾貨哦~後端

演講者：劉金明騰訊雲存儲業務中心副總監安全

背景：5月23-24日，以「煥啓」爲主題的騰訊「雲+將來」峯會在廣州召開，廣東省各級政府機構領導、海內外業內學術專家、行業大咖及技術大牛等在現場共議雲計算與數字化產業創新發展。

騰訊雲存儲業務中心副總監-劉金明，在雲+將來峯會上作了主題爲《騰訊雲 EB 級對象存儲架構深度剖析及實踐》的分享，如下內容整理自演講。微信

劉金明：你們好。我是來自騰訊雲存儲業務中心的副總裁劉金明。網絡

說到對象存儲，咱們不得不提一下騰訊存儲平臺PFS，早在2016年我還在學校的時候，對分佈式存儲尚未任何概念的時候，個人前輩就推出第一款騰訊存儲平臺PFS，幾年間也爲微信、QQ、相冊，包括騰訊視頻，騰訊內部全部的資源業務來負責他們的存儲服務，到了2013年，咱們整個騰訊雲把咱們的存儲能力包裝以後對外開放，到了2014年，整個騰訊存儲已經突破了500PB，整個數據已經到了萬億級別。到了2015年的時候，咱們把整個接口標準化，而且在整個數據層面已經到了EB級別。時間來到2016年的時候，咱們不論是索引仍是數據，對整個存儲引擎作了架構的優化，不管是性能仍是架構方面都獲得了更好的提高。同時咱們對基於存儲之上智能數據的方面，包括相關的應用也應運而生。架構

咱們不得不提一下整個cos的產品狀態，大概能夠分爲三層，好比咱們cos最底層屬於基礎平臺，也提供了不少SDK、API等等，可以提供給各大客戶基本的上存、下載的基本服務。在應用接入層，咱們有一些圖片的、裁剪、視頻的轉買，包括文檔的預覽等等數據處理和識別的服務，同時也推出了日記服務、基因、企業網盤等等不少解決方案。若是像一些數據比較熱或者是流量比較大的客戶也能夠直接用咱們的CDM進行全球的加速。併發

目前整個cos在全球13個園區開放了，包括美洲、歐洲等等，不少地方都有咱們的cos產品，包括世界盃快來臨，包括俄羅斯和日本也立刻推出。分佈式

下面咱們重點講一下整個cos的基礎架構，和咱們cos面對的一些問題，以及一些應用案例。cos的架構，咱們其實簡單能夠分爲三層，最上層是網絡接入層。整個網絡這一層是多機的BPG介入，並且能夠對於一些攻擊流量進行很智能的清洗，咱們的騰訊資源網關能夠對整個接入這一塊作到智能的附帶均衡。在應用層整個是徹底無狀態服務的一層，整個集羣能夠徹底無限擴展，到數據層，他們經過部署，好比說咱們能夠作到跨機房，跨交換機的部署，咱們整個集羣都是數據化處理，冷熱智能也是很天然的調度。工具

不少客戶一旦用了咱們的對象存儲，由於存的不少核心數據，你們比較關心的問題是什麼？無外乎如下5點，就是我用了你的服務，你必定要保證個人服務足夠穩定，而且我存的數據不能丟失，足夠的可靠，並且個人數據能足夠的安全，性能足夠好，而且用的錢最低。咱們下面就每一個逐一的來詳細講解一下。性能

騰訊雲的cos對外提供的可用性是99.95%，其實也就是經過咱們一些常規的架構層面，一些故障自動剔除，自動重置的服務等等，咱們能夠作到平臺足夠的可用性。咱們上了雲之後，不少客戶一塊兒用咱們的平臺，還有一些突發的大事件，咱們怎麼來保障咱們平臺足夠穩定？好比像春節或者除夕的時候，相似於微信同樣，可能有很大的突發，好比說電商服務，一年突發都是數十倍，這樣一個程度的增加。當出現突發的時候，咱們平臺怎麼保證穩定，而且一個業務的突發不會影響其餘的業務？其實咱們提供了不少手段，好比說咱們對於這些突發的事件，若是咱們有碰見的話，咱們能夠提早將它的熱點數據，咱們提早分發到大數據的流量平臺，好比你加一層其餘的服務，咱們保證咱們整個存儲流量，儘可能保證不是特別大。另外咱們能夠經過計算平臺把咱們須要的資源儘快的上架。大數據

無論怎麼作，咱們都不可能保證你的平臺突發無限制的，能讓你一直這樣用，咱們能夠經過什麼方法？若是是一個視頻服務，咱們能夠經過柔性策略，假如咱們平臺資源不夠，對於客戶來講，咱們本身應用的時候能夠作一些降級的服務，用更低的馬力服務客戶。或者若是對咱們產品功能有一個很詳細的瞭解，是否是咱們能夠保證一些核心的功能的訪問，好比視頻更重要，是否是能夠保證視頻的服務，其餘周邊的一些服務，咱們就把它擦掉，相似於這樣的，基於功能和質量的降級服務，保證咱們平臺的穩定。若是某一個客戶突發已經影響了咱們整個平臺的時候，咱們整個騰訊雲cos也能夠作到按照用戶層面的自動隔離，對於單個用戶進行防過載、流控或者屏控的手段，可以保證整個平臺不受影響，穩定性達到99.5%。

安全可靠層面，咱們怎麼保證11個9的可靠性？前面也講到了，咱們整個的騰訊雲cos，不論是索引仍是數據，咱們都是集羣化管理的。若是數據一塊盤壞了或者一個機器壞了，或者大到一個機房壞了，咱們怎麼調度，怎麼處理？最簡單一點，咱們多數存儲都是多複本的，壞了一份或者壞了N份咱們能夠從其餘的方面來補充數據。首先咱們能夠從其餘復原本保證用戶的數據，沒有任何問題的來讀取，若是出現故障短時間恢復不了，將其轉移到其餘的集羣，保證這個數據快速的恢復，若是咱們出現故障的時候，咱們怎麼發現？好比咱們磁盤壞了，咱們你們存的是冷數據，怎麼能發現這個磁盤壞了或者整個節點壞了？其實咱們有不少方式，除了用戶正常訪問級別的發現之外，咱們增長了不少平常的巡檢，包括心跳勘測等等不少手段來儘快的發現，而且遷移掉咱們有壞盤或者是壞節點的數據，保證咱們整個集羣足夠的可靠。

你們上雲，包括不少傳統行業都很是看重整個數據的安全性，咱們整個騰訊雲的cos對象存儲提供了全鏈度的安全，從最上層用戶到SDK這一層，能夠從這一層來加密，包括整個傳輸層、協議層的加密，包括到了咱們底層的用戶若是有受到攻擊的時候，咱們怎麼作清洗，到下面，咱們每一個請求，剛纔好像其餘團隊也講了，咱們每一個用戶，他什麼狀況下在什麼時間內，有什麼權限能夠訪問本身的資源，這些都是有一些權量的工做。包括後端整個服務端的加密和銷燬性，你們看這上面，這就是服務加密的三套加密。

說到咱們的數據安全，我想提一個例子，咱們前一段正在跟騰訊影業合做的案例，騰訊影業最近推出了兩款陸川導演《兩萬千米計劃》和一個電影《拓金者》，你看一下，雖說它這一個影片只是兩個小時，差很少這樣的一個時長，其實它前期的素材大概可能有幾百PB，並且拍攝點是全球各地，跟咱們合做之前，你們傳統營業廣電傳媒公司是你們揹着硬盤全球跑，很是費時、費力、費心，安全性很難保證，對於整個影片沒有對外推廣的時候，整個知識產權，包括不少東西，對安全性要求很是高。跟咱們騰訊的cos深密結合之後，只要在異地把他的影片拍完之後，在當地上傳之後，咱們經過全球的加速或者跨區複製等等不少手段同步到其餘各地，咱們就能夠把它整個很完美的將影片提供給他的後期製做團隊，保證它的數據安全。

其實你們若是用到了存儲，必然少不了對性能的要求，怎麼樣更快速的，或者是延時更低的把個人數據從雲端上傳上來，視頻、圖片等等，各類各樣的種類，並且文件大小也不一樣，咱們基於小文件，咱們作了一些整個鏈路的縮短，對於大文件作一些分塊或者分片的併發，並且咱們整個平臺基於這個協議層面，基於內核層面等等不少手段，保證整個數據，基本用戶在使用的狀況下下載到咱們的騰訊雲cos，而且很快的下載下來。還有剛剛說的這些種類，好比視頻的客戶，咱們的轉碼，你想讓你的速度更快，你在播放的時候，在不一樣的終端能夠選擇不一樣的碼率，咱們如今有基於263的轉碼，不少不少種的格式，它能夠在保證你的人眼感官程度沒有任何變化的狀況下，你的整個內容，就是你看不出任何區別來，可是你這個對象大小減小不少，這樣咱們的性能，由於文件小，傳的速度確定快，用的帶寬也小，整個成本也下降了。

除了這些用科技手段，把咱們視頻跟圖片作一些交換、轉碼來達到咱們的成本優化，咱們還有不少手段，相似於日記，咱們能夠對數據進行壓縮，相似於網盤這樣的服務，咱們在上傳以前進行去重。好比咱們數據存到雲端了，咱們還能夠提供一些存儲的分析功能，讓咱們整個存儲數據在咱們整個多級存儲裏面調度，好比說像咱們的微信，咱們的朋友圈，好比咱們如今能夠設置3天或者是更長的時間，半年，半年的數據確定很是老了，咱們能夠按照這個時間來把整個數據再不一樣的存儲級別調度。而後咱們在最底層的硬件層面，咱們逐年一直在硬件存儲密度上作文章，包括咱們的功耗等等，一直在節省整個存儲成本。其實咱們作的這些也進一步的下降咱們整個產品的價格，也是節省了用戶的價格，把這個紅利讓戶給用戶。

除了剛纔說的這幾個基本功能之外，咱們騰訊雲cos也在持續針對更上一層的層面持續推出一些高級功能，好比咱們的生命週期，剛纔咱們說的這個，好比說咱們的數據沉降，包括刪除等等，不少層面，若是咱們的客戶有這樣的需求，你只要在cos的管理控制檯上配一個規則，咱們就能夠定時將你的數據，在各層之間移動，而且在規定的時間內，這樣子的數據作一個刪除。

還有一些在可靠性方面的增強，咱們也有多版本、跨區域複製的高級功能。跨區域複製，影業方面就用到這個跨區域複製，以前有一個英文的培訓機構，他們的講師都是在國外的，它的受衆，聽課者都是在國內，怎麼讓上傳和下載的兩方速度足夠好？就用到了跨園區複製，當這個講師上傳之後，經過跨園區複製傳回到國內。這也是國內和其餘的廠商沒有的功能，保證數據併發的時候，數據出錯的可能性儘可能的下降。

剛纔我介紹了整個存儲平臺的時候場景的時候，咱們也說了加速，數據分析的場景。在數據分析的場景，其實咱們推出了兩款，一個是清單，一個是標籤。清單是什麼？清單就是你須要訪問某一個規則下規定的列表，若是經過咱們基本的功能，確定很慢，咱們經過清單就把你須要的列表投遞到你須要的地方，而後你能很快的作你本身想作的大數據分析場景。包括後面的標籤，這個應用場景更多了，如今不少識別場景打着各類標籤，好比咱們的直播裏面，咱們對場景，包括人物，包括風景等等，各類的標籤，其實這些咱們均可以對整個的用戶，就是基於存儲之上的智能分析應用作很好的服務。

最後我也給你們講咱們如今的兩個案例，一個是智能安防的場景。其實目前有不少，好比咱們如今的大會裏面周圍也可能有一些攝象頭，這個攝象頭天天拍的數據很是多，正常來講，咱們若是有網絡攝象頭，用戶直接就買一個網絡攝象頭，而後用到咱們整個的騰訊雲相關的產品，好比說用到了直播，而後把整個流路注下來，直接傳到cos，用戶須要審覈或者須要播放的時候，再從cos讀出來。若是這個時間比較久了，價值不大了，或者對訪問延時沒有這麼高的狀況下，咱們能夠把它降到更低存儲的，儘可能的節省用戶的成本。其實整個裏面用到了不少整個騰訊雲生態裏面的東西，包括剛纔說了智能AI，好比說應用到監控，確定有一些識別的場景都須要。

另一個場景，介紹一下咱們的大數據的場景，其實我剛剛提到了清單，這個清單就是在大數據場景裏面一個很好的應用，大數據場景裏面還有一點，好比咱們不少以前大數據用戶都存到本地的DFS，咱們騰訊雲的cos也提供了不少便捷的工具，便捷式的，跟原來的DFS接口同樣，提供了DFS cos的工具，用咱們的大數據套件，對你整個存到cos的數據進行實時的分析跟離線的分析。這裏要說一點，對於離線分析的場景，好比咱們有不少客戶，他可能須要一個任務的時候，提到了這個任務之後，那個保證流量很是高，相應的成本也很是高，你能夠用到咱們騰訊雲cos限流服務，對這個要求沒有這麼高的狀況下，能夠用到小點來節省咱們整個用戶的成本。

其實剛剛最前文已經講到了，除了包括智能安防和大數據之外，還有基因、醫療、網盤等等不少不少的場景，我相信你們用到存儲不可能只用這幾款，幾種使用場景，可能將來咱們騰訊雲也會推出更多的應用類的解決方案給廣大客戶。