幹到底--三種存儲類型比較-文件、塊、對象存儲

http://limu713.blog.163.com/blog/static/15086904201222024847744/

http://www.dostor.com/article/2012-12-27/7887715.shtml

  塊存儲和文件存儲是咱們比較熟悉的兩種主流的存儲類型，而對象存儲（Object-based Storage）是一種新的網絡存儲架構，基於對象存儲技術的設備就是對象存儲設備（Object-based Storage Device）簡稱OSD。

        首先，咱們介紹這兩種傳統的存儲類型。一般來說，全部磁盤陣列都是基於Block塊的模式，而全部的NAS產品都是文件級存儲。

一、塊存儲

        如下列出的兩種存儲方式都是塊存儲類型：

        1） DAS（Direct Attach STorage）：是直接鏈接於主機服務器的一種儲存方式，每一臺主機服務器有獨立的儲存設備，每臺主機服務器的儲存設備沒法互通，須要跨主機存取資料時，必須通過相對複雜的設定，若主機服務器分屬不一樣的操做系統，要存取彼此的資料，更是複雜，有些系統甚至不能存取。一般用在單一網絡環境下且數據交換量不大，性能要求不高的環境下，能夠說是一種應用較爲早的技術實現。

        2）SAN（Storage Area Network）：是一種用高速（光纖）網絡聯接專業主機服務器的一種儲存方式，此係統會位於主機羣的後端，它使用高速I/O 聯結方式， 如 SCSI, ESCON 及 Fibre- Channels。通常而言，SAN應用在對網絡速度要求高、對數據的可靠性和安全性要求高、對數據共享的性能要求高的應用環境中，特色是代價高，性能好。例如電信、銀行的大數據量關鍵應用。它採用SCSI 塊I/O的命令集，經過在磁盤或FC（Fiber Channel）級的數據訪問提供高性能的隨機I/O和數據吞吐率，它具備高帶寬、低延遲的優點，在高性能計算中佔有一席之地，可是因爲SAN系統的價格較高，且可擴展性較差，已不能知足成千上萬個CPU規模的系統。

二、文件存儲

        一般，NAS產品都是文件級存儲。  NAS（Network Attached Storage）：是一套網絡儲存設備，一般是直接連在網絡上並提供資料存取服務，一套 NAS 儲存設備就如同一個提供數據文件服務的系統，特色是性價比高。例如教育、政府、企業等數據存儲應用。

        它採用NFS或CIFS命令集訪問數據，以文件爲傳輸協議，經過TCP/IP實現網絡化存儲，可擴展性好、價格便宜、用戶易管理，如目前在集羣計算中應用較多的NFS文件系統，但因爲NAS的協議開銷高、帶寬低、延遲大，不利於在高性能集羣中應用。

     下面，咱們對DAS、NAS、SAN三種技術進行比較和分析：

表格 1 三種技術的比較

        針對Linux集羣對存儲系統高性能和數據共享的需求，國際上已開始研究全新的存儲架構和新型文件系統，但願能有效結合SAN和NAS系統的優勢，支持直接訪問磁盤以提升性能，經過共享的文件和元數據以簡化管理，目前對象存儲系統已成爲Linux集羣系統高性能存儲系統的研究熱點，如Panasas公司的Object Base Storage Cluster System系統和Cluster File Systems公司的Lustre等。下面將詳細介紹對象存儲系統。

三、對象存儲

        整體上來說，對象存儲同兼具SAN高速直接訪問磁盤特色及NAS的分佈式共享特色。

        核心是將數據通路（數據讀或寫）和控制通路（元數據）分離，而且基於對象存儲設備（Object-based Storage Device，OSD）構建存儲系統，每一個對象存儲設備具備必定的智能，可以自動管理其上的數據分佈。
        對象存儲結構組成部分（對象、對象存儲設備、元數據服務器、對象存儲系統的客戶端）：
        3.一、對象
        對象是系統中數據存儲的基本單位，一個對象實際上就是文件的數據和一組屬性信息（Meta Data）的組合，這些屬性信息能夠定義基於文件的RAID參數、數據分佈和服務質量等，而傳統的存儲系統中用文件或塊做爲基本的存儲單位，在塊存儲系統中還須要始終追蹤系統中每一個塊的屬性，對象經過與存儲系統通訊維護本身的屬性。在存儲設備中，全部對象都有一個對象標識，經過對象標識OSD命令訪問該對象。一般有多種類型的對象，存儲設備上的根對象標識存儲設備和該設備的各類屬性，組對象是存儲設備上共享資源管理策略的對象集合等。 
       3.二、對象存儲設備
        對象存儲設備具備必定的智能，它有本身的CPU、內存、網絡和磁盤系統，OSD同塊設備的不一樣不在於存儲介質，而在於二者提供的訪問接口。OSD的主要功能包括數據存儲和安全訪問。目前國際上一般採用刀片式結構實現對象存儲設備。OSD提供三個主要功能：
      （1） 數據存儲。OSD管理對象數據，並將它們放置在標準的磁盤系統上，OSD不提供塊接口訪問方式，Client請求數據時用對象ID、偏移進行數據讀寫。
      （2） 智能分佈。OSD用其自身的CPU和內存優化數據分佈，並支持數據的預取。因爲OSD能夠智能地支持對象的預取，從而能夠優化磁盤的性能。
      （3） 每一個對象元數據的管理。OSD管理存儲在其上對象的元數據，該元數據與傳統的inode元數據類似，一般包括對象的數據塊和對象的長度。而在傳統的NAS系統中，這些元數據是由文件服務器維護的，對象存儲架構將系統中主要的元數據管理工做由OSD來完成，下降了Client的開銷。
         3.三、元數據服務器（Metadata Server，MDS）
          MDS控制Client與OSD對象的交互，主要提供如下幾個功能：
      （1） 對象存儲訪問。
        MDS構造、管理描述每一個文件分佈的視圖，容許Client直接訪問對象。MDS爲Client提供訪問該文件所含對象的能力，OSD在接收到每一個請求時將先驗證該能力，而後才能夠訪問。
      （2） 文件和目錄訪問管理。
        MDS在存儲系統上構建一個文件結構，包括限額控制、目錄和文件的建立和刪除、訪問控制等。
     （3） Client Cache一致性。
        爲了提升Client性能，在對象存儲系統設計時一般支持Client方的Cache。因爲引入Client方的Cache，帶來了Cache一致性問題，MDS支持基於Client的文件Cache，當Cache的文件發生改變時，將通知Client刷新Cache，從而防止Cache不一致引起的問題。
       3.四、對象存儲系統的客戶端Client
        爲了有效支持Client支持訪問OSD上的對象，須要在計算節點實現對象存儲系統的Client，一般提供POSIX文件系統接口，容許應用程序像執行標準的文件系統操做同樣。
 四、GlusterFS 和對象存儲

       GlusterFS是目前作得最好的分佈式存儲系統系統之一，並且已經開始商業化運行。可是，目前GlusterFS3.2.5版本還不支持對象存儲。若是要實現海量存儲，那麼GlusterFS須要用對象存儲。值得高興的是，GlusterFS最近宣佈要支持對象存儲。它使用openstack的對象存儲系統swift的上層PUT、GET等接口，支持對象存儲。