雲宏大講壇 | Ceph分佈式存儲高性能設計

 

隨着數據量的不斷增加，如何以高效的方式存儲數據量成爲IT界的一個挑戰。許多傳統存儲解決方案不能知足日益增加的需求，業界迫切須要一種新的方法來管理現今的數據，爲用戶控制訪問時間，縮減管理成本。

 

軟件定義的存儲解決方案是存儲大量數據的一個新興方案。當代網絡，雲計算、大數據技術的應用使得數據呈指數增加，天天增加達百萬兆背景字節的數據量是常見的狀況。咱們迫切須要一種更有效的解決方案，如可伸縮擴展的軟件定義存儲解決方案Ceph。

 

Ceph是一個具備高度可擴展性、開放源碼的軟件定義存儲解決方案，可以提供基於對象，塊和文件系統的統一的分佈式存儲集羣服務。Ceph能夠改造公司的IT基礎設施來管理海量數據，並提供很是好的可擴展性，存儲集羣能夠容納大量的利用硬件和守護進程的分佈式存儲節點，互相之間複製分發數據。Ceph監控在Ceph存儲集羣的也具備分佈式的特色，從而保證高可用性。

 

一個高度可擴展的容錯存儲集羣，網絡架構和運行Ceph的MON（Monitor，監控）和Ceph OSD（Object Storage Device，提供存儲資源）同樣重要。對於Ceph存儲集羣的主要指標就是高擴展性和高可用性，所以，網絡顯然必須有能力處理預期的客戶端數量和每一個客戶端的吞吐量。該網絡還必須處理Ceph OSD的心跳、數據複製、集羣再平衡以及故障恢復。在正常操做中，一個單獨寫主OSD的操做會間接致使寫非主的OSD，寫的次數基於咱們的複製因子。所以，集羣網絡的流量顯著超過了公衆網絡在正常工做條件下的流量，在公共網絡中，Ceph客戶端讀取和寫入數據到Ceph OSD守護進程以及發送OSD心跳信息，而在集羣網絡，Ceph OSD守護進程彼此檢查Ceph OSD的心跳信息，當系統出問題的時候，發送狀態報告給監視器，複製對象，重平衡集羣以及實現backfill和恢復。

 

 

WinStore是雲宏提供的企業級分佈式軟件定義塊存儲解決方案。它針對Ceph在性能方面進行深度優化，對可靠性、易用性、可管理性實施改進，實現自動化運維。WinStore不但可支持運營商實現PB級以上容量的存儲資源池，也可幫助企業實現成本可控的小規模水平擴展存儲，整合或替代現有中端存儲設施，或構建應用融合方案，支撐各類OLTP或OLAP業務應用。WinStore分佈式塊存儲能夠幫助用戶發揮通用的x86服務器硬件設施的性能潛力，在管理特性、效能和接口各方面達到傳統SAN設備的水平，並具有水平擴展的能力，讓用戶在TCO可控的狀況下輕鬆實現「軟件定義存儲」的目標。

 

區別於開源的Ceph，WinStore在關鍵環節進行了深度代碼優化，包括網絡和磁盤處理效率的優化、數據分層與緩存機制的優化等，使得存儲系統可以勝任高併發、高輸入輸出效率的需求，與主流NVMe閃存技術相結合，經過SPDK新協議棧優化IO路徑，突破單節點數千IOPS的瓶頸；經過配置不一樣性能的通用硬件，無縫適應冷熱數據切換等各類應用場景的性能需求。同時WinStore也具備卷級的QoS（Quality of Service）設置，支持最爲普遍的客戶應用接口。