解碼2017雙11:全球狂歡新記錄背後的阿里雲存儲

阿里雲存儲支撐雙11新記錄

2017天貓雙11全球狂歡節，全天成交額再次刷新紀錄達到1682億元，全天支付總筆數達到14.8億，全天物流訂單達8.12億，全球225個國家和地區的消費者參加。新零售能量全面爆發，全球超100萬商家線上、線下打通，近10萬智慧門店、超50萬零售小店參與「全球共振」。

這背後是大數據的支撐和阿里雲計算的能力的體現。手淘、天貓APP主站的全部圖片和視頻都存儲在阿里雲對象存儲OSS之上，全球數以億計的消費者，對這些商品的訪問的流量和併發次數，比成交筆數高得高。正是阿里雲存儲多年技術積累的整個鏈路低延遲和高穩定性，支撐天貓雙11的流暢體驗。

阿里雲存儲有着最豐富的存儲產品，從前期技術平臺構建、當天全球狂歡節支撐、後期數據沉澱分析，全面支撐雙11，爲客戶帶來更個性、更流暢、更豐富的體驗。

支撐海量互聯網應用的對象存儲OSS

2017年天貓雙11全球狂歡節，超過14萬個明顯品牌，1500萬種商品參加。同時，全球超100萬商家線上、線下打通，近10萬智慧門店、超50萬零售小店，參與新零售新形態購物狂歡。在購物交互上，雙11採用VR/AR、視頻直播點播等豐富的新形式。

2017年天貓雙11,全部商品的詳情頁、商品展現和評論圖片和視頻、VR/AR活動頁圖片視頻素材，100%地存儲在OSS上。而這些海量的網頁、圖片、視頻，吸引了全球消費的訪問。

OSS的全稱是Object Storage Service， 提供簡單的網絡訪問接口（RESTful API），能夠隨時從網絡上的任何位置，任什麼時候間，來讀寫任意數量的數據。同時OSS是一個全託管的服務，提供安全、容量和性能的擴展性，容災等服務能力，使得用戶能夠聚焦在本身的應用邏輯上面。

OSS支撐雙11的技術能力

面向互聯網的設計

OSS支撐了2017天貓雙11，來自全世界各地超過225個國家和地區的消費者，經過各類終端、各類操做系統、各類運營商網絡，查看其心儀的商品圖片和視頻、參與雙11的互動。

OSS面向互聯網設計，與訪問終端、平臺無關，天生適合互聯網應用。互聯網上的設備，雲上的服務器，Web瀏覽器以及分散在世界各地的CDN節點均可以經過OSS對外的HTTP/HTTPS的訪問接口來寫入，讀取和操做本身的數據。

OSS憑藉面向互聯網的訪問便利性、穩定可靠的存儲服務，已經應用在國內外主流互聯網應用，如互動直播、在線視頻、電商APP、遊戲應用、基因計算等。而新浪微博，映客，億方雲，華大基因，安諾優達，努比亞手機等知名企業也紛紛採用阿里雲OSS做爲數據的存儲。

海量存儲能力

OSS支持EB級別容量和萬億級別文件數的線性擴展能力，支持日益增大的數據存儲空間和數量的需求。EB級的容量，形象一點就是一部高清電影大概是5GB，那麼1EB就至關因而兩億部電影。萬億級別文件數的線性擴展能力，這就超越了傳統狀況下你們對於文件系統的認識，而且文件訪問的性能不會由於文件數量的增長而產生任何影響。

天貓雙11數千萬商品的網頁、圖片、視頻等數據存儲，要求存儲空間、文件數量要求很是大。而除了這些產品，淘寶、天貓其餘全部商品以及主站全部圖片、視頻的容量、文件數更加龐大，而這些也都是存儲在OSS上。

高性能的全球化服務

今年天貓雙11交易峯值32.5萬筆/秒，支付峯值25.6萬筆/秒。而存儲在OSS的商品頁面、商品展現、經歷的流量和訪問次數就比這個數字要高百倍以上了。而這些網頁、商品展現和評論的圖片、視頻都存在OSS。

阿里雲對象存儲OSS依託高性能的阿里雲數據中心網絡，軟件棧方面的大量優化，提供全球可達的高帶寬低延遲的訪問。

憑藉全球化的產品服務佈局，以及3+N的多線BGP接入能力和穩定出色的系統訪問延遲，OSS受到了像新浪微博，映客，陌陌等大型移動互聯網APP的青睞，將做爲OSS源站向全世界提供服務。

高安全性

電商的交易信息、商家的商品實拍圖片等數據，和不少業務系統同樣，都須要考慮安全性，進行權限分級管控，並防止盜鏈、DNS劫持等，而OSS很好地提供了這些問題的解決方案。

OSS提供豐富和強大的數據安全能力：

• 訪問控制：安全靈活的受權訪問控制機制，支持Bucket/Object級別的細顆粒度的受權策略。
• 訪問來源：提供防盜鏈、IP白名單、VPC網絡等安全穩定的互聯網或者專有網絡的訪問能力。
• 系統級安全：阿里雲全面的安全合規保障以及豐富的安全產品，給整個業務系統安全保障
• 訪問日誌：提供訪問日誌，可方便地審覈、分析訪問信息。
• 加密存儲：提供多種數據加密持久化解決方案
• 傳輸加密：對內網、外網、VPC專有網絡都全面支持https協議，保障傳輸安全

高可靠性

雙11的電商、交易、支付、物流系統的數據，對於可靠性都有很是嚴苛的要求。而OSS基於阿里雲存儲的技術積累提供至少10個9（11個9若是是多可用區）的可靠性和完整性保障。

• 數據高可靠性：
  每一份數據成功地寫入三副本（來自不一樣的可用區，或不一樣的機架）後才返回。並且自動巡檢系統不停地檢測不可用的副本，一旦出現，自動地及時複製，使得每一份數據任什麼時候刻至少有2個及以上的副本，提供至少10個9（11個9若是是多可用區）的可靠性。
• 數據完整性：
  OSS也提供端到端的基於MD五、CRC64的數據校驗的功能。
• 異地容災：
  OSS提供了跨區域複製功能，用戶經過簡單的設置，便可自動地實現數據異地容災備份。

OSS底層基於世界領先的阿里雲統一存儲平臺——盤古

盤古文件系統在生產系統中採用跨多可用區部署的方式，經典的模式是支持橫跨三個可用區，每一個可用區距離30千米到50千米。不管是三副本仍是EC（糾刪碼）副本，都是均勻分佈在三個可用區內。

任何一次寫入都在三個可用區數據落盤後纔會返回客戶成功。因爲各可用區的數據中心有獨立的供電，網絡和冷卻系統等，跨多可用區的存儲提供了數據中心級別的容災能力，在任一可用區徹底不服務的狀況下，總體服務無縫切換，數據無任何丟失。

跨多可用區對阿里雲內部核心骨幹網絡的要求很是極高，端到端的延遲要求在穩定1毫秒之內，而且有Tb級別帶寬能力。阿里雲投入了大量的資源來建設高容錯能力和高性能的多可用區互訪的內部核心骨幹網絡。

OSS不只是「存儲」

阿里雲對象存儲OSS不只是「存儲」，依託高性能的阿里雲數據中心網絡，以及豐富的與開源計算系統和阿里雲自研的計算系統的集成，提供了方便，簡單，和經濟划算的數據分析和加工能力。

OSS豐富的計算生態

• OSS是中國第一家也是惟一一家被官方Hadoop社區接納爲缺省的對象存儲文件系統；意味着全球全部的Hadoop生態的離線、交互、數據倉庫、深度學習等程序在不須要改代碼的狀況下，自由讀寫OSS的對象存儲。
• 開源的分佈式內存文件系統Alluxio原生支持OSS，讓存儲在Alluxio內存文件系統中的數據可使用OSS來做爲持久化存儲介質和數據交換平臺。
• 阿里雲的E-MapReduce產品中的Hadoop組件也直接使用OSS做爲存儲後端進行數據存取。
• 阿里雲的MaxCompute計算平臺經過阿里雲內部Tb量級的網絡通道，對OSS的數據進行分析和加工。
• 阿里雲的機器學習平臺PAI，並行處理數據倉庫服務HybridDB等產品也都和OSS存儲聯通。

阿里雲不只投入了大量的資源來創建高帶寬低延遲的數據中心物理網絡，軟件棧方面，咱們也進行了大量的優化：QoS的管理和支持，先後端流量的管理，最小化通訊庫的軟件開銷，數據中心網絡傳輸擁塞技術優化等。

經過豐富的計算和分析能力，一流的數據中心網絡，以及高性能的數據訪問，OSS系統成爲共享的數據湖，一份數據被多種計算系統共享，達到存儲與計算解耦的效果，使得資源的利用率最大化。

OSS的計算應用助力雙11點亮「人機協同」

OSS與Hadoop、Alluxio等開源生態、阿里雲的計算產品結合，讓數據產生價值。而天貓雙11機器智能的大規模應用也是一大技術亮點，今年的雙11成爲人類歷史上最大規模的人機協同。

大量智能機器人組成的「新物種」軍團，已經滲透到這次天貓雙11全球狂歡節的各個角落，從挑選貨品、導購推薦、客服、設計海報、巡邏機房到管理倉庫……它們開始和人類一塊兒，協同完成雙11的各項任務。

好比，基於阿里雲存儲OSS與阿里雲機器學習平臺PAI，搭建的機器學習訓練預測平臺，能夠實現用戶購物習慣分析，進行精確地個性化商品推薦，作到「千人千面」，讓用戶在搶購時更節省時間、體驗更好。

不只如此，在繁榮的多媒體行業的催生下，OSS在對象存儲的基礎上，發展了本身的特點API能力，經過提供一站式的圖片處理功能，RTMP協議支持，APPEND追加寫入等功能，造成了圖片社交解決方案，直播推流解決方案，短視頻解決方案，雲相冊解決方案，讓移動互聯網APP的開發週期大大縮短。

好比利用OSS的圖片存儲與處理方案，存儲在OSS上雙11的商品的圖片、視頻，可方便地進行圖片的縮放、加水印，以及將鑑黃等處理。

OSS全面覆蓋從熱到冷的存儲場景

當業務系統運行多年，會有不少不一樣「溫度」的數據。好比天貓雙11這幾年，天天都會產生海量的數據，這些數據根據生命週期、業務形態的不一樣，溫度也不一樣。有些是常常須要訪問分析、有些訪問頻度較低、有些幾乎不訪問主要是備份歸檔。

阿里雲對象存儲OSS提供標準（Standard），低頻（IA：Infrequent Access）和歸檔（Archive）三種存儲類型，全面覆蓋從熱到冷的各類數據存儲場景。做爲OSS的特點:

• 提供了生命週期（Lifecycle）的自動管理，根據用戶設置的策略在不一樣類型之間進行自動轉化，節省用戶的存儲成本和管理成本。
• 統一的RESTful接口來訪問不一樣類型的OSS存儲，即便一個文件的存儲類型經過Lifecycle自動進行了改變，應用程序不須要修改。其餘存儲廠商一般要求使用不一樣的接口來訪問不一樣的存儲類型。
• 歸檔存儲的解凍時間小於60秒，不一樣於其餘存儲廠商須要若干小時。

高可用的海量結構化/半結構化數據存儲-表格存儲TableStore

海量結構化和半結構化數據則可使用表格存儲。表格存儲在2011年開始在阿里巴巴內部使用，爲阿里雲郵箱、大數據分析MaxCompute、雲OS等提供了海量元信息的存儲與實時訪問，天天承接着數百億次的API調用訪問。

2017年天貓雙11，全天支付總筆數達到14.8億，全天物流訂單達8.12億、包括商家客服與買家溝通的即時消息平臺，生成大量的數據、併發請求，充分體現了表格存儲TableStore的高性能和穩定性。

表格存儲分佈式共享存儲技術,單表可擴展到PB級、千萬級QPS

表格存儲底層使用了分佈式共享存儲技術，經過自動分區Partitioning機制和特有的自動負載均衡Load Balance機制，在數據規模與訪問併發上具備極好的擴展性。單表能夠在無人工介入的狀況下輕鬆擴展至PB級數據量與千萬級QPS的訪問能力，其高併發低延時的特色也使表格存儲在2014年正式對外商業化以後迅速在社交、金融風控、電商交易、日誌監控、物聯網等行業得到了大量用戶的青睞。

高性能與容量型應對不一樣的應用需求

針對不一樣的應用需求特色，表格存儲提供了高性能與容量型兩種實例規格。對讀寫性能敏感的社交、遊戲、金融風控等場景可使用高性能實例，高性能實例採用全SSD介質，在保證3份數據強一致性的狀況下，提供個位數毫秒級的訪問延時。而容量型實例則採用特有的混合存儲介質，在不下降寫性能的狀況下提供更具性價比的數據存儲及訪問成本，適用於日誌監控、物聯網時序數據存儲等對讀性能不敏感但對成本較爲敏感的業務。

行業應用場景的優化

不只如此，表格存儲針對特定的行業應用也推出了一些特有的功能，例如針對社交IM場景推出了主鍵自增列功能，去掉了IM系統中對第三方自增ID生成器的依賴，簡化IM系統的架構設計，大大提升了系統的響應併發。

自有的增量Stream功能，配合阿里雲的函數計算和阿里雲流式計算，可以很好地同時知足海量結構化數據的存儲與實時計算的需求。與MaxCompute、ADS以及Hive、Spark的數據打通，也真正兼顧了海量結構化數據的存儲與分析的應用場景。

向傳統與新興科技同時發起衝擊的新一代文件存儲NAS

天貓「雙11」應用了容器技術，應對業務的實際流量超過預想快速擴容的需求。而在Docker、HPC等全新應用的場景下，如何爲計算節點提供高可靠，高彈性，高性能，多共享的文件系統已經成爲NAS領域一個新的挑戰和趨勢。

而阿里雲共享文件存儲NAS，很好地解決了這些挑戰。相對於OSS在互聯網存儲上的流行，共享文件存儲NAS在傳統應用轉型上雲過程當中發揮着巨大的做用。阿里雲選擇經過公共雲NAS的方式來推進非互聯網應用業務升級，數據上雲。

阿里雲NAS的新優點

與傳統的NAS不一樣，阿里雲NAS：

• 既具有了數據高可靠、完整性、徹底託管服務，面向容錯的設計和按量計費等雲存儲的特性；
• 線性擴展scaleout能力和豐富的安全控制和管理能力。
• 全球惟一一款雲上同時支持CIFS/SMB和NFS協議的雲上NAS系統，更好地知足Windows和Linux的雲服務器對高效共享文件存儲的需求。

高性能與容量型應對不一樣的應用需求

阿里雲NAS分爲性能型和容量型兩種：

• 性能型NAS採用全SSD的介質，知足I/O密集型應用的需求。
• 容量型NAS採用混合存儲的方式，寫路徑經過SSD，讀路徑從HDD，在不下降寫性能的前提下，提供經濟實效的 PB級共享文件存儲。

NASPlus面向行業應用的優化

同時，在2017年5月的成都雲棲大會上，阿里雲發佈了行業性NAS Plus。

NAS Plus針對廣電行業併發路數多，順序寫性能要求高的特色，知足製做系統高帶寬，低延遲，以及隨機讀性能要求高的要求，NAS Plus作了性能上的全鏈路優化，而且與合做廠商華棲雲進行了深度合做，在防火牆技術、Hardlink跨卷共享、智能拼接以及幀級共享，快速檢索等方面作了深度優化。在與企業中高端NAS的PK中，阿里雲的NAS系統全面超出。

NAS Plus不只僅是針對廣電的定製化版本，而是開創了一種模式，與行業的深度整合可以給客戶帶來數量級上的體驗改進。NAS Plus不只僅能夠用於廣電，也能夠用於基因、渲染、機器學習等領域，而且可以與行業的使用方法作深度的整合。

傳統IDC數據上雲的加速器-混合雲存儲

1小時內10萬臺服務器的快速擴容能力——雙11混合雲實踐

在2017天貓雙11創紀錄超大規模交易需求輕鬆應對的背後，阿里巴巴混合部署了在線計算、離線計算以及公共雲，構建了全球最大規模的混合雲，能實現1小時內10萬臺服務器的快速擴容並知足金融級安全保障，支撐雙11買、賣、付、送各環節在雲上的順利進行，成爲天貓雙11爲世界貢獻的中國技術方案，更助力推進着中國商業和經濟的轉型升級。而背後支撐的技術方案中，就有阿里雲混合雲存儲方案。

混合雲存儲完善鏈接與傳輸能力

混合雲存儲的關鍵在於鏈接和傳輸，阿里雲針對鏈接，易用性和傳輸在2017年連續推出了一系列混合雲的產品組合，包括雲存儲網關，混合雲存儲陣列，備份服務，容災恢復服務，和閃電立方數據搬遷服務。

• 雲存儲網關是一款能夠在線下和雲上部署的軟網關，以阿里雲上的OSS做爲後端存儲，可在企業的內部IT環境和基於雲的存儲基礎設施之間提供無縫、安全的集成。雲存儲網關支持標準的NFS和CIFS協議，支持VMWare/KVM/HyperV環境部署，提供本地緩存模式，讓本地存儲與雲的連接具備更好的互操做性和性能。
• 混合雲陣列則是阿里雲混合雲存儲戰略的重中之重。混合雲陣列讓您能夠像本地存儲同樣使用和管理本地和雲端的各類存儲資源（塊、文件和對象），本地存儲經過雲緩存、雲同步、雲分層、雲備份等方式無縫連通雲存儲。混合雲陣列不只能夠做爲傳統存儲與雲的鏈接器，並且由於混合雲陣列的高穩定性和性能，支持雙控機頭的模式，在一些場景下也能夠直接替代傳統存儲成爲混合雲中的一級存儲。

備份和容災恢復服務是大量企業需求的混合雲存儲服務。雲存儲網關和混合雲陣列可以幫助數據上雲，同時也可以讓雲上和雲下造成災備機制。

當用戶在本地機房有PB量級的數據，須要在短期內進行遷移時，離線數據搬遷能力顯得尤其重要，阿里雲推出的閃電立方產品，單臺一次支持480TB的遷移能力，且可橫向拓展，利用多臺設備能夠同時遷移PB級別的數據，使得海量數據快速上雲成爲可能。除了加速數據遷移的速度，總體費用與專線方式對比，也下降60%以上。