網盤,又稱網絡U盤、網絡硬盤,早期的網盤就是網絡公司將其服務器的硬盤或硬盤陣列中的一部分容量分給註冊用戶使用,容量有限,速度也有限制。最新應用的雲計算儲存技術,爲網盤行業帶來了新的革命,傳統的網盤將逐步被雲存儲取代。前端
雲存儲是構建在高速分佈式存儲網絡上的數據中心,它將網絡中大量不一樣類型的存儲設備經過應用軟件集合起來協同工做,造成一個安全的數據存儲和訪問的系統,雲存儲最大優點在於將單一的存儲產品轉換爲數據存儲與服務。安全
雲存儲技術基於虛擬化服務器
咱們應該要正確的理解雲計算背景下的雲存儲,各大提供雲存儲技術服務的網盤公司,如百度、360、騰訊、金山因此採用的雲存儲技術與傳統的硬件存儲技術有何區別呢?網絡
首先要介紹雲計算,雲計算的核心技術之一就是虛擬化,把存儲、計算、網絡資源進行虛擬化,以方便像OpenStack這樣的雲計算管理工具來對資源進行軟件化的配置。所以,如今的雲存儲都是創建在存儲虛擬化技術的基礎上的,一般對存儲資源的虛擬化工做都是由hypervisor程序來完成的。數據結構
傳統物理(硬件)存儲技術的原理:架構
傳統的物理存儲技術也就是咱們所常見的硬盤,它沒有通過虛擬化這一層,這就是目前所說的雲存儲和傳統存儲的一個重要區別,咱們稱傳統的存儲技術爲物理存儲主要是相對於虛擬雲存儲而言。分佈式
物理存儲技術主要能夠分紅三種類型:工具
一、存儲域網絡(SAN:意思是storage area network):存儲域網絡是經過光纖通道鏈接到一羣計算機上,創建專用於數據存儲的區域網絡。在SAN的環境中,能夠把一組硬盤(或者這組硬盤的一部分)組成具備邏輯性的單元(LUN:logic unit),LUN就像一塊硬盤。通常常見的SAN協議是iSCSI和FC。LUN是管理SAN的主要單位,與DAS的磁盤是同樣的,LUN也只能鏈接一臺主機,也就是說,是不能夠多臺主機同時訪問一個LUN,這就不利於文件共享。爲了解決文件共享的問題,以後又提出了NAS的技術。性能
二、網絡附屬存儲(NAS):NAS是一種專用數據存儲服務器,包括存儲器件和內嵌系統軟件,NAS能夠實現跨平臺文件共享功能,NAS也能夠容許分配一部分存儲空間組成一個文件系統類型。雲計算
三、直連存儲(DAS:意思是direct attached storage):相對來說這是最簡單的存儲類型,咱們的我的計算機都屬於這種,就是磁盤(或磁盤陣列RAID)直接接在主機的總線上。磁盤陣列是由不少價格較便宜的磁盤,組合成一個容量巨大的磁盤組。採用這種技術是將數據切割成許多區段,分別存放在各個硬盤上面,不只能夠提升存取效率,還能夠經過冗餘來提升系統可用性。
符合雲存儲特徵的存儲設備,稱爲雲存儲。雲存儲有不一樣的種類,應用在不一樣的雲服務環境。從數據的存儲和訪問的方式來區分,雲存儲包括數據塊級雲存儲、文件級雲存儲和對象級雲存儲。
這三種類型是由存儲局域網(SAN)、網絡附加存儲(NAS)和內容訪問存儲(CAS)分別發展而來。
一、數據塊級雲存儲
指提供高速的直接的數據塊存儲訪問服務。前端的計算節點經過光纖網絡訪問協議訪問存儲,得到高速、穩定、有保障的數據訪問。這種模型源於在關鍵業務系統中久經驗證的存儲局域網SAN模型。不過在雲存儲的時代,改成分佈式的並行擴展模式,並增長了以上討論的其它雲存儲特徵。
因爲此模型採用的是高帶寬、低延遲、可靠的光纖網絡存儲訪問協議,前端計算節點獨享或少許共享存儲內容的數據結構,所以,和前端的計算節點是屬於緊耦合的關係。
二、文件級雲存儲
經過網絡文件系統訪問協議提供文件級的存儲訪問服務。這種模型源於網絡附加存儲NAS的模型,計算節點經過以太網的協議,在其上構建區域內相對快速、安全、可靠的網絡文件系統來得到文件的訪問服務。不過在雲存儲的時代,文件級雲存儲突破了傳統NAS訪問空間的侷限,提供了高達PB級的全局命名空間的訪問能力,和以上討論的其它雲存儲特徵。
這種模型和前端節點是C/S的模型,兩者採用樹狀的文件系統結構來存儲和訪問數據,屬於中耦合的關係,在區域內性能有足夠的保證。
三、對象級雲存儲
經過廣域網的面向對象的訪問協議來獲取對象級的存儲訪問服務。對象和文件既有類似之處,也有區別。對象一般改動較少,而且擁有許多的屬性,並且爲多租戶使用。這種模型源自於早期EMC推出的CAS存儲系統。可是,在雲存儲時代,突破了訪問地域的限制,藉助於面向對象的訪問協議,用戶能夠在全球任何地點訪問對象級存儲雲中儲存的對象內容。對象級雲存儲面向的是海量的各類尺寸、不一樣格式的對象內容,爲提升訪問效率,前端計算節點並不關心對象級雲存儲內部的存儲方法和數據結構的模型。屬於鬆耦合的關係。
那麼數據塊級雲存儲、文件級雲存儲、對象級雲存儲和原來的SAN,NAS,CAS有什麼不一樣呢?
區別主要在雲存儲具有的屬性特徵,傳統存儲設備並不具有。雲存儲具有如下的屬性特徵:
一、分佈式的並行擴展架構
雲存儲能夠根據需求動態、靈活、按需地進行擴展,所以雲存儲和原來傳統存儲的縱向擴展(scale-up)的架構不一樣,採用的是橫向擴展(scale-out)的方式進行。一般,雲存儲的節點之間會經過網絡進行鏈接當須要擴展時只須要把新的節點併入到網絡中便可。顯然,網絡在雲存儲中是很是關鍵的。選擇何種網絡和雲存儲應用的環境有着緊密聯繫。在須要性能敏感的應用環境中(如事務處理)雲存儲內的網絡結構須要高帶寬、低延遲的網絡,以保證節點與節點之間的鏈接獲得充分的性能保障。所以這樣的雲存儲在目前的技術現實下一般只是在區域內進行擴展在廣域範圍內進行擴展的需求僅在極少的應用需求中出現。而在性能不敏感的應用環境中(如網絡硬盤),雲存儲的擴展能夠擴展到廣域的範圍,所以,雲存儲內的網絡結構一般是一種相對鬆禍合的形式(如以太網)。還有一種模型是採用中小型的雲存儲經過鬆禍合的結構來建設存儲雲服務的。這種架構內部網絡要求能夠下降,同時節點間的訪問性能也是不須要嚴格要求的。
二、虛擬化感知
雲存儲適用於雲計算的環境,雲計算最重要的一個特色是計算會根據須要進行飄移好比虛擬機會在前端的物理機之間進行遷移。這要求雲存儲具有虛擬化感知的能力,在前端的虛擬應用發生遷移後可以繼續提供一樣的服務。虛擬化感知的能力根據前端計算的耦合程度而有高低。
三、分層存儲
每種類型的雲存儲都具有巨大的擴展能力一般存儲容量都是高達PB級的。這樣在同種存儲類型中就存在提供同種訪問類型,可是不一樣訪問能力的需求。隨着用戶數據蚤的增長,以及用戶對歷史數據保存的重要性的意識加強數據不只僅有存儲的需求,同時歸檔的需求也日益提高到IT的規劃中。在沒有分層存儲能力的時代歸檔的實現是很困難的,尤爲是對於結構化的數據。可是有了分層存儲能力後,歸檔的實現就變得很是簡單。系統能夠自動在後臺實現數據的歸檔根據數據的重要性以及訪問的需求在不一樣的存儲能力層中進行遷移。這樣的實現對於應用系統是徹底透明的。換言之,是應用緊禍合型的歸檔,即不用改動應用程序就能夠得到***的總體成本。所以,雲存儲對於分層存儲的能力是必須的。
四、智能空間分配
資源層的雲計算理念是爲了把相同訪問特色的應用集中共享資源而且動態、靈活、按需進行資源分配和使用,以達到資源的***利用和安全、堅固的應用保護。在雲計算的環境中,站在IT管理的角度,對於上層的應用是很是難以把握的。這點在IDC的環境中尤爲是這樣誰能保證IDC內只能知足Web服務器的應用,而不可能出現高性能計算的需求呢,所以,雲存儲內部須要具有智能空間分配的能力,以知足各類客戶、各類不一樣類型應用的需求。那麼固定的空間分配能力顯然既不符合用戶「按需」的使用要求也不符合運營者的資源利用要求。所以,只有智能的空間分配纔可以知足雙方的利益訴求。