【2019 雲棲大會】對象存儲海量數據管理和應用最佳實踐

導語

今年參加了 2019 雲棲大會 下一代雲存儲技術與最佳實踐專場，分享了 「對象存儲海量數據管理和應用最佳實踐」 議題，重點介紹對象存儲 OSS 的架構原理、數據管理、最佳實踐，現整理相關內容和你們探討。

1、企業數據存儲的挑戰和需求

數據是企業的生命線，企業的數據存儲也廣泛面臨着 3 個挑戰：

• 數據快速增加。根據 IDC 統計全球數據量在 2020 年將高達 40,000EB ， 人均 5TB。
• 數據不丟不錯。Gartner 報告經歷災難系統停運的公司有 40% 當即倒閉，剩下的 33% 兩年內破產。
• 法規聽從。根據行業合規要求，須要長期保留的數據愈來愈多、愈來愈嚴格，如金融雙錄需保存 6 個月、證券投資警示材料與錄像需保存 20 年、會計檔案需保存 10~30 年，且不可修改。

經過大量的企業交流，從中總結了 5 個關鍵需求，以下圖所示：

• 可靠性，指在硬盤、服務器、網絡等故障狀況下，以及火災、地震、洪水等災害時，能夠有效防止數據丟失，OSS 經過跨機機櫃、機房、區域的數據冗餘，實現了 12 個 9 的高可靠性。
• 可用性，指在服務器故障時、光線挖斷時，可自動切換實現業務連續性，OSS 經過容錯設計，實現了 99.995% 的可用性。
• 安全合規，指數據訪問的認證、受權、加密、以及行業法規聽從，OSS 支持多項合規認證，好比 KMS 加密、WORM 認證等。
• 自動擴容，可以自適應業務數據快速增加，避免出現存儲空間被打爆，OSS 經過業界領先的資源供應鏈管理、軟件分佈式彈性設計，實現 百 EB 級空間、百萬億級對象規模 能力。
• 自動生命管理，支持冷熱數據的管理，優化 TCO，OSS 提供標準、低頻、歸檔存儲，並自動化遷移，優化存儲使用成本。

2、對象存儲技術介紹

2.1 OSS 技術演進

OSS 實現上述業界領先的核心競爭力，並非一蹴而就，而是經過長期技術積累實現，以下是技術演進圖：

OSS 隨着飛天操做系統發展而演進，它立項於 2008 年，和盤古一塊兒起航；開發完成後，先在阿里巴巴集團內打磨，2011 年正式在阿里雲商業化發佈。此後，每一年都在不斷髮布新功能、在更多可用區開服、知足客戶關鍵應用需求。
今年是 OSS 的大年，內核演進到第二代(OSS 2.0)：

• 硬件上，引入了 貔貅 3 存儲新機型，從介質、服務器、網絡等層面採用了業界領先的技術，提供了極具競爭力的性價比。
• 軟件上，切換了 盤古 2.0 引擎，提供更強大的分佈式擴展能力。

同時，今年發佈了 9 大新特性，以知足企業客戶的需求。

2.1.1 OSS 同城區域冗餘存儲新特性

首先，介紹最重要的 同城區域冗餘存儲 特性，以下圖所示：

爲了提升可靠性和可用性，它實現了跨 Location 的糾刪碼技術，在任意一個 Location 故障後，數據依然可以訪問和存儲。經過對海量的開發運維數據分析，獲得最優的 Location 間距離、帶寬設計，防止 Location 發生故障、災難，避免出現數據丟失或者業務中斷。最終，實現了 12 個 9 的高可靠性，99.995% 的高可用性，而且在 標準、低頻存儲類型 均可以使用。

2.1.2 其餘新功能

同時，2019 年至今發佈了以下新功能：

• ZIP 包解壓。實現上傳 ZIP 包自動解壓功能，它 同函數計算結合，提供圖形化界面，簡單易用。
• 智能數據處理。包含 文檔預覽(支持近 50 種格式文檔格式)、人臉識別 AI 處理、標籤識別 AI 處理功能。
• 多版本。提供數據按版本保存功能，能夠保護數據避免數據被誤刪，而且經過讀寫版本分離提升一致性。
• 標籤。提供 存儲空間標籤、對象標籤 功能，而且結合生命週期、安全策略一塊兒使用。
• 受權管理。圖形化 Bucket Policy 管理，可受權其餘用戶訪問 OSS，並配置基於 訪問 IP 的訪問管理。
• 安全提高。提供了 客戶端加密、日誌透明化、KMS 加密支持 BYOK 加強能力。
• 單連接限速。實現了單連接流控，限制該連接的上傳、下載、拷貝，可配置範圍 100KB/s～100MB/s。
• 傳輸加速。利用 OSS 底層的全球網絡，實現就近傳輸，最高可加速 4 倍，採用 CNAME 自定義加速區域。

2.2 OSS 架構原理

OSS 可以在巨大的數據體量下更新內核、併發布大量新特性，無疑就是飛行中更換飛機引擎，這須要優秀的架構來支撐，以下是 OSS 的架構原理圖：

數據平面的核心：包含 盤古分佈式存儲 底座，有巢分佈式KV 構建的對象存儲元數據，對象存儲 後端服務；在此之上，就能夠經過 HTTP 服務端 和 網絡負載均衡 提供服務。

運維管控面的核心：主要是 赤驥 DEVOPS 平臺，它提供了CI/CD、灰度發佈/升級、下限維修、監控、日誌、運營大屏等豐富的功能。

該架構實現了 3 個亮點：

• Global的分佈式能力。提供了分佈式數據複製功能，實現智能元數據負載均衡，零錯誤擴容、升級、遷移，以及全球的跨區域複製能力。
• 強一致性模型。對齊 PAXOS 複製協議實現強一致的分佈式元數據處理，數據修改當即可見、無中間態臨時數據，和最終一致性系統相比仍能保證性能領先。
• 智能開發運維平臺。實現多維度的數據可視化，全面的監控報警，智能日誌分析，全面的白屏運維。

經過 十多年來穩定的架構設計，保證了系統的快速演進，結合智能開發運維平臺提升效率，實現人效是傳統開發、運維方式的 3～5 倍。

2.3 OSS 智能數據處理框架

經過穩定的架構和功能開發，OSS 存儲了海量的數據，基於數據作智能分析、挖掘數據價值，將是存儲將來技術的重要趨勢。爲此，OSS 經過智能數據分析處理框架，有效卸載算法實現高效數據處理，以下圖所示：

核心思想是構建計算框架，並將它和存儲關聯。爲此，在對象存儲最近的位置，部署計算引擎，實現就近訪問(無需傳輸數據出 OSS 存儲系統，極大的下降網絡帶寬開銷)。而後，在對象存儲的數據路徑上和計算框架打通，實現關聯。爲了支持種類豐富的數據分析處理，設計了智能的調度框架，其特色是：

• 底層支持 CPU、GPU、FPGA 芯片，匹配算法適配需求。
• 抽象機器爲物理機、虛擬機、容器，從而爲軟件屏蔽硬件差別。
• 支持 Linux、Windows 運行環境，並能自動部署各種卸載的算子。
• 經過集羣調度系統提供離線請求、實時請求的靈活調度，知足業務對調度對需求。

經過該框架，只須要認證卸載的算子，就能夠快速部署起來，並基於框架的集羣化調度能力快速服務化，並提供相似阿里雲服務的 SLA 能力。它的亮點是：下降帶寬開銷(近數據處理)、Serverless 體驗 (下降運維難度) 、簡單易用(基於 URL 使用方式)，目前提供以下 4 類算法卸載：

• 圖片處理。經過使用 FPGA 加速，和自主搭建 CPU 方式相比，單機的吞吐率可提高 6 倍，時延降低 80%-90%，總體帶寬優化能夠達到 5 倍。
• 視頻處理。經過此方法，無需搭建多媒體流服務，就可讓視頻處理卸載到對象存儲，並切還能支持音頻流，在時延要求不高時還可作直播。
• SQL 卸載。和外部大數據平臺實現 SQL 方式(OSS 未卸載)相比，時延減小到原來 1/12，帶寬最多減小 99%
• 文檔預覽。目前支持近 50 種文檔格式的預覽，因爲和 OSS 自然結合，從而也徹底複用了 OSS 的 SLA 能力(大於 99.9%)，並享受 OSS 的安全設計。

3、對象存儲最佳實踐

經過技術架構原理介紹， 基本掌握了 OSS 相關功能，本節重點講解 OSS 的數據管理和最佳實踐。

3.1 海量數據管理

3.1.1 遷移數據管理

但願上雲使用好對象存儲 OSS，先從遷移數據的管理開始；目前，OSS 遷移數據包括 2 大類方法：

• 閃電立方服務，包含以下子類：

  • 在線遷移服務，將第三方數據輕鬆遷移至阿里雲對象存儲 OSS，也能夠在對象存儲 OSS 之間進行靈活的數據遷移。
  • 離線遷移(閃電立方設備)，它是一種 PB 級別端到端的離線數據遷移服務，可以使用安全設備將大量數據傳入阿里雲。2018 年遷移 115 網盤時，由於數據量有百 PB 量級、並且要求遷移時間短，因此選擇離線遷移的閃電立方設備形式。
• 工具， 包括 ossimport、ossutil、hdfs2oss4emr、OSS 鏡像回源，它們均可以簡單便捷的遷移數據。

在遷移數據時，要綜合考慮 容量、帶寬 選擇遷移方法，數據遷移後要對比數據的一致性、保證數據所有被遷移成功，同時要結合應用的 易用性 集成上述方法的 API 或者工具。

3.1.2 數據空間管理

海量的數據須要作好組織，在數據空間管理上，建議先從以下 3 方面考慮：

• 命名空間。要合理控制桶的數目，在使用靜態網站託管功能時推薦 CNAME 綁定域名，對象名儘可能散列、避免熱點。
• 目錄模擬。對象存儲不是文件系統，而是採用前綴模擬目錄；OSSFS 封裝的 POSIX 文件系統插件，受限於服務器操做系統 Linux 的 FUSE 架構，場景有限，不能提供高性能、豐富的文件系統功能；若是有大量重命名目錄操做，對象存儲是不合適的，建議在上層封裝元數據實現。
• 對象管理。若是桶的對象太多、超過十億，儘可能少執行 List 操做；而是採用對象清單來獲取對象列表，便於應用的查詢；同時，也能夠利用對象清單實現對象的一致性檢查。

3.1.2 數據空間管理

海量的數據高效組織並存儲後，要在運行上保證業務連續性，建議從以下 4 個方向考慮：

• 提升可靠性。開啓同城區域容災，提升單區域故障後的容錯能力；使用跨區域複製，容忍區域級故障；打開多版本，下降誤刪除數據影響。
• 提升可用性。應用在多區域建立桶、同時並行訪問使用，跟蹤各區域時延、成功率，根據應用時延、成功率要求控制切換，在遇到請求錯誤時進行冪等回退處理。
• 流量控制。國內單用戶、單區域缺省流量配額爲 10Gbps，如須要更高帶寬請工單提高；在請求返回流控錯誤碼時，根據帶寬能力合理設置冪等回退；同時，支持單連接限速，幫助應用合理控制客戶端流量。
• 安全管理。使用 RAM 控制受權用戶訪問、並設置訪問策略，控制訪問的 IP 來源，使用數據加密和日誌審計。

3.2 應用最佳實踐

基於OSS的架構、特性、數據管理建議，介紹 3 個近期最具表明意義的應用最佳實踐：

3.2.1 基因測序解決方案

該方案的客戶有兩個主要測序中心，採用專線鏈接到阿里雲就近區域。本地 IDC 具有必定計算和存儲能力，用於處理部分業務，將處理數據歸檔到雲上，同時利用雲上的 K8S、批量計算、ECS 等作彈性大規模計算擴展。
它解決了 客戶 3 個痛點：專線網絡和 OSS 通訊、直傳數據，K8S & 批量計算 和 OSS 對接、直接計算，基於 OSS 的生命週期管理自動歸檔數據、下降成本。

3.2.2 人工智能自動駕駛訓練應用解決方案

在該方案中，雲端資源實時響應業務需求，支撐了業務快速迭代。快速使用阿里雲提供的新技術、新產品，享受技術紅利。CPFS 和 OSS 結合專爲訓練優化性能和成本，提高訓練速度，釋放GPU的算力，使得整個 AI 計算平臺效率更高。
該方案 體現了3個優點：彈性資源供給，大帶寬的吞吐能力，總體優化的 TCO。

3.2.3 視頻監控應用解決方案

此方案實現了視頻監控統一存儲，經過部署網關、監控接入平臺、混合雲存儲陣列，成功對接五家不一樣類型的攝像頭設備，無縫完成攝像頭對接遷移，實現雲上、雲下的統一平臺。該平臺可彈性承載 10000+ 設備接入，後續接入更多攝像頭時，可彈性擴展計算資源，而不影響原有業務。同時，本地混合雲存儲使用雲緩存技術，僅保存近期幾天的數據，而將海量的近百天視頻文件全量備份至雲端，徹底知足行業法規要求，並且還能夠利用 OSS 的智能數據處理功能進行視頻內容的分析。
該方案 知足了客戶 3 個典型需求：視頻監控統一存儲，數據高可靠、持久保存支撐行業法規，彈性資源按需供給、知足業務增加需求。

固然，OSS還有更多應用解決方案的最佳實踐，詳細信息請參考 相關鏈接。

總結

構建業界領先的高可靠、高可用、易管理、安全合規的非結構化數據存儲平臺目標，是阿里雲對象存儲 OSS 不斷超越自個人驅動力，將來 OSS 將持續演進發展，知足企業數據存儲要求。

 

閱讀原文

本文爲雲棲社區原創內容，未經容許不得轉載。