軟件定義存儲SDS-分佈式存儲Ceph實踐與設計

    近兩年「軟件定義」已經被業界不少商業公司與技術咖所青睞；「軟件定義一切」具備技術改革與實際價值，在虛擬化管理平臺軟件定義一直性體如今三大方面：軟件定義計算（SDC)，軟件定義網絡(SDN)，軟件定義存儲（SDS）；

    軟件定義存儲（SDS）是衆多中小企業在IT架構基礎建設中比較重要的一項，存儲是每一個程序與應用必不可少的組成部分，存儲TCO也是你們所關注的重點，權衡在性能（Performance）、容量（Capability）、TCO（總擁有成本）三方面，根據這三方面考慮Ceph分佈式存儲特點具備很好的實際使用價值與靈活的結構，讓中小企業在RBD、OD等存儲方式有了更好的選擇；Ceph具備開源與社區活躍優點，同時與主流IaaS架構Openstack結合密切等，Ceph生態系統也是有不少IT公司協同開發，現在用戶羣體包含國內外知名廠商，最新版本更新到2016.3 Jewel.

    Ceph基礎架構

     

Ceph提供RBD、FS等存儲方式支持，Ceph分佈式針對於大規模PB級環境部署，技術特性體如今Cluster可靠性與擴展行，Data Replace、Interface統一性；Ceph去中心的設計思想可以讓計算能力獲得了充分發揮，Crush算法可保證各OSD與Monitor Node提供HA ENV；對於Openstack架構的後端存儲，側重在Ceph RBD存儲，RBD是基於LIBRADOS之上，經過QEMU/KVM Attach至VM上.

     OpenStack架構後端存儲核心在於VM、Volume、Images三方面，Ceph RBD可無縫支持這三項存儲，通過幾個項目的實踐，Ceph RBD存儲方式穩定性仍是很是好，Ceph自身Journal優化特性可提升硬盤存儲讀寫性能；利用Ceph在設計OpenStack後端存儲解決方案時，建議合理規劃硬件資源與評估存儲需求，這樣才能在PCT三方Balance；

    根據公司業務存儲場景，可提供High Performance Pools與Common Pools，根據Openstack配置與對接方式，將Compute Pools進行整合，進行對應的存儲Pools對接；

    Ceph存儲自身規劃

    一、硬件選型：CPU、Mem、Disk按照OSD Process（2C、1G）與Monitor（2C、2G）合理規劃

    二、版本選型以及系統文件：Ceph目前穩定版本Jewel V10.0.0(社區推薦)，系統文件格式Ext4

    三、網絡：建議生產環境採用10G網絡，Ceph Public Net與Client Net進行物理隔離，提供穩定與數據高保證性；可經過網絡調優引入巨型幀來提升網絡傳輸

    四、硬盤：Journal盤與Data盤建議1:6，匹配方式SSD（J）-SAS，PCIE（J）-SSD

    五、Ceph調優：硬件層面（BIOS、磁盤IOPS）、System層面（Cgroup、Kernel）、網絡層面（巨型幀、硬件加速）、Ceph（合理設置PG-PGS、副本數、對接存儲位置等）

    六、擴展：儘可能減小縱向擴展、根據Crush Map進行Object物理Host存儲，隨着業務發展及時進行橫向擴展

    七、監控：對OSD Perf項進行監控，防止主副節點影響存儲速度；對集羣Health網絡、硬件狀態等實時監控、及時處理故障問題

    八、測試：初次搭建進行全面IOPS與網絡吞吐量測試、以及故障經過測試排除問題

    Ceph效率提高：增長並行度與下降服務時間

    Ceph實際生產環境中，可支持多類型存儲，對象存儲、文件存儲、塊存儲等，Openstack匹配完美的則是Ceph RBD方式存儲，靈活地配置方式以及全面的driver支持，Ceph穩定與高可用靈活架構以及Crush算法讓Ceph分佈式存儲解決方案成爲Openstack最重要的存儲夥伴；隨着Openstack高速發展，Ceph也是以6個月一個新版本進行迭代,開源虛擬化以及存儲虛擬化是將來最具備商業價值與研究的熱點.