在人類信息技術發展史上,數字技術是一項劃時代的成就。綜觀IT發展史,數字技術已有過兩次發展浪潮。第一次是以處理技術爲中心,以處理器的發展爲核心動力,產生了計算機工業,特別是PC工業,促使計算機迅速普及和應用;第二次是以傳輸技術爲中心,以網絡的發展爲核心動力,經過互聯網,人們不管在何處均可以方便地獲取和傳遞信息。這兩次浪潮極大地加速了信息數字化的進程,愈來愈多的信息活動轉變爲數字形式,使數字化信息爆炸性增加,從而引起了數字技術的第三次浪潮—存儲技術浪潮。安全
實際上,數字技術在任什麼時候候都是處理、傳輸和存儲技術的三位一體,缺一不可。數據存儲技術一直都在發展與進步,但它一直在後臺,被處理技術和網絡技術的光輝所掩蓋,如今它終於走上了前臺,成爲數字化舞臺的主角之一。服務器
從新認識數字存儲技術網絡
過去談到存儲技術的發展趨勢,老是用大容量、高速度、低價格和小型化來形容。但隨着愈來愈多的關鍵信息轉變爲數字形式,使應用對存儲技術產生了新的需求。如今咱們有必要審視一下信息存儲應用的新特色,從中能夠看出技術發展的新趨勢。併發
數據已成爲最寶貴的財富 數據是信息的符號,數據的價值取決於信息的價值。因爲愈來愈多的有價值的關鍵信息轉變爲數據,數據的價值也就愈來愈高。對於不少行業甚至我的而言,保存在存儲系統中的數據是最爲寶貴的財富。在不少狀況下,數據要比計算機系統設備自己的價值高得多,尤爲對金融、電信、商業、社保和軍事等部門來講更是如此。設備壞了能夠花錢再買,而數據丟失了對於企業來說,損失將是沒法估量的,甚至是毀滅性的。所以,信息存儲系統的可靠性和可用性、數據備份和災難恢復能力每每是企業用戶首先要考慮的問題。爲防止地震、火災和戰爭等重大事件對數據的毀壞,關鍵數據還要考慮異地備份和容災問題。性能
計算機應用模式發生變化 計算機系統結構設計中有一條重要的原理:加快常常性事件(即佔用時間最多的事件)。計算機應用模式對常常性事件有決定性的做用。早期計算機僅用於計算,CPU活動是最常常的事件,加快其速度最重要;以後在網絡應用中,計算機通訊成爲佔時間最多的事件,加快網絡速度就成爲當務之急;目前在大部分網絡應用中,存儲已成爲常常性事件,正如專家認爲,目前的計算瓶頸已從過去的CPU、內存、網絡變爲如今的存儲,所以,存儲是最值得加快的常常性事件。從技術的角度講,目前存儲系統的I/O率(單位時間完成任務數)和數傳率(每秒傳輸字節數)還遠不能知足高端應用的需求,存儲系統須要大幅度提升其速度性能。操作系統
數據量不斷增加 人們在信息活動中不斷產生數字化信息,數據量老是在不斷增加,某些時候還會產生突發性增加,如多媒體應用和網絡應用就產生了這種突發性增加。對於大部分應用,CPU和網絡的速度達到某個值就知足了要求,但對存儲容量的需求倒是沒有止境的,由於永遠都有新的數據產生。所以,存儲系統要有良好的可擴展性。除此以外,現代企業還要求這種擴展應不中斷如今的業務,這就帶來一個動態可擴展或動態可伸縮的課題。設計
全天候服務已成大勢 在電子商務和大部分網絡服務應用中,7×24小時甚至365×24小時的全天候服務已經是大勢所趨。這不只意味着沒有營業時間的概念,還意味着營業不能中斷。國外的信息調查機構曾對各行業停機形成的損失作過大量的統計,數據代表,停機數小時對現代企業的損失是至關大的,停機超過一天,對一個企業來說是不能忍受的,停機一週則將是毀滅性的。全天候要求存儲系統具備極高的可用性和快速的災難恢復能力,集羣系統、實時備份、災難恢復都是爲全天候服務所開發的技術。接口
存儲管理和維護自動化 之前的存儲管理和維護工做大部分由人工完成,因爲存儲系統愈來愈複雜,對管理維護人員的素質要求也愈來愈高,出差錯的可能性也愈來愈大,稍不注意就會丟失數據。現代存儲系統要求具備易管理性,最好具備智能化的自動管理和維護功能。進程
多平臺的互操做性和數據共享 因爲歷史緣由,企業中存在着多種信息平臺,既有各類操做系統的服務器,又有各廠家不一樣型號的存儲設備。多平臺的互操做性和數據共享對應用的方便性、減小重複投資和保護企業的已有投資是很是重要的。存儲系統要有足夠的開放性,其中標準和協議的制定很是重要,各廠家之間的聯盟和合做也是十分必要的。事件
所以,現代存儲系統具備高可靠性、高可用性、高性能(I/O率和數傳率)、動態可擴展性、易維護性和開放性等衆多方面的需求,而目前使用的存儲系統還遠不能知足這些需求,它對現有的存儲技術提出了挑戰,刺激了各類存儲新技術的發展。
存儲技術迎接需求的挑戰
爲了迎接這種挑戰,學術界和工業界都投入了空前的人力及物力進行研究與開發。人們從存儲機理、器件與設備、接口與通道、系統結構和存儲軟件等各方面進行了大量的研究。
研究新的存儲機理 提升存儲密度是信息存儲界永恆的主題,而硬盤密度的提升最爲引人矚目。從1991年開始,硬盤的密度以每一年60%的速度提升,而到1997年後,每一年的增加則超過了1倍。物理學家設定的物理極限屢次被突破,其餘存儲器要取代硬盤的說法也一次又一次被拋在一邊。如今,商品化硬盤的密度已達到每平方英寸20Gb,實驗室則已達到100Gb,比1957年IBM推出的第一臺硬盤的密度提升了上千萬倍。這種提升得益於對存儲機理的研究。GMR磁頭、加釕夾層介質、超低浮動技術和PRML信號處理技術爲密度的提升作出了主要貢獻。光存儲技術也在飛速進步,常規的磁光和相變存儲密度不斷提升。雖然光存儲在面記錄密度上不如硬磁盤,但它的可換性提升了其競爭優點,另外,它還有多層、多波長和體記錄等磁記錄所沒有的原理優點,於是發展出多層多波長光存儲、全息光存儲、近場光存儲等下一代超高密度存儲技術,並可望在3~5年內實現實用化。
新的器件與設備 用於手持式移動設備的閃存技術有了飛速發展,成爲移動存儲的主流128MB甚至更大容量的閃存已成爲商品。IBM推出的1英寸微硬盤Microdrive具備1GB的容量,是移動存儲中使人印象深入的產品,可實現手持式移動的多媒體存儲。在臺式機和服務器層面,硬盤仍然是絕對的主流。高端硬盤的速度有了明顯的提升,1.5萬轉/分、5ms的硬盤已經面世,2萬轉/分的硬盤正在實驗室中研製。用於備份的1.44兆軟盤雖然尚未被徹底淘汰,但在多媒體內容的備份上已徹底無能爲力,代替它的有衆多產品,它們各有特色。從數據備份的安全角度講,磁光盤是最好的,只是目前價格較貴。在軟件的大量複製、發佈和交換應用中,CD-R/DVD-R還是最好的選擇。
接口與通道 這方面最近幾年取得了很大的進步,併發生了較大的變化。雖然並行接口還是主流,ATA和SCSI兩種傳統並行接口的速率已分別達到133MB/s和160MB/s,但接口的串行化已成爲趨勢。光纖通道(FC)的硬盤已成爲高端磁盤陣列的首選,應用愈來愈多; P1394接口的硬盤也已面世,最近還推出了USB 2.0接口的移動硬盤。在SCSI-3標準中,除了並行接口外,還包括了FC、P1394和SSA三種串行接口。並行接口的主要缺點是:數據傳輸率難以提高,能串接的設備數目太少,接口數據線長度過短以及缺少即插即用功能,這些在構成更大的存儲系統時都成爲瓶頸,於是,串行接口必然會愈來愈流行。此外,研究中的接口與總線還有Infiniband和iSCSI。
網絡存儲和企業存儲 器件和設備這一級不管發展多好,都沒法知足網絡和企業存儲的多種需求,這就須要在系統結構和軟件這一級來解決問題。與一個存儲芯片在計算機主存系統中的做用同樣,存儲裝置(最主要是硬盤)在這裏只是做爲一個構件而存在,互連的硬件和軟件在此起到了最爲關鍵的做用。
磁盤陣列是最普遍應用的存儲系統,它用並行帶來了高性能,用冗餘帶來了高可用性,它也是構成更大存儲系統的基礎設備。
按照流行的觀點,通常認爲在網絡存儲和企業存儲環境中存在着三種典型結構,即DAS、NAS、SAN。在將來幾年中,SAN會成爲網絡存儲和企業存儲的主角。
Storage over IP 光纖通道的SAN雖然有優良的結構和性能,但也存在兩個很大的缺點。其一是光纖通道的互連設備極其昂貴,其二是存儲設備之間的互操做性很差。而基於IP的存儲(Storage over IP)就能夠很好地克服這兩個缺點。
IP存儲的主要思想是全部的鏈接都採用以太網和IP協議,其主要技術有iSCSI和IP-SAN。iSCSI是IBM和Cisco建議的標準,它使數據塊在以太網上傳輸。若是將SAN的鏈接設備和傳輸協議都換成IP,就構成了IP-SAN。其中的存儲設備能夠是iSCSI設備,也能夠將普通存儲設備經過轉換器轉成等效的iSCSI設備。IP-SAN採用的是普通的IP交換機等鏈接設備,價格比光纖通道的鏈接設備低得多,技術也成熟得多。另外,互操做性也會大大改觀。目前,IP-SAN的性能尚未FC-SAN高,但因爲IP交換機的技術進步遠快於FC的交換機技術,如10G以太網交換機上市會比10G光纖交換機早得多,價格也便宜得多。預計3年後,IP-SAN會成爲市場的主流。
存儲虛擬化 存儲虛擬化(storage virtualization)雖然不是一個新的概念(如卷管理就是一種存儲虛擬化的服務器軟件),但目前具備了新的內涵,併成爲存儲管理中逐步走向主流的技術。它無論物理設備在何處,也無論有多少數量和多少種類的存儲設備,只要在邏輯上爲計算機呈現一個虛擬的存儲池便可。在虛擬存儲技術管理下的各類存儲設備的集合,對用戶來講就等效於一個本地的大硬盤。這種技術將在將來2年內走向成熟。
存儲管理軟件 存儲管理軟件在存儲系統中的地位愈來愈重要,在上述的各類技術中,不少功能都是由存儲管理軟件來完成的。存儲管理軟件主要包括存儲資源管理(存儲媒介、卷、文件管理)、 數據備份和數據遷移、遠程備份、集羣系統、災難恢復以及存儲虛擬化等。存儲管理提升了資源的利用率和工做效率,還提升了系統的可用性。
智能存儲 智能存儲的概念起源於加州大學伯克利分校的ISTORE項目。主要思想是在每一個硬盤上都裝有處理器,使其具備必定的智能,每一個驅動器上還裝有各類傳感器,用以感知驅動器的狀態。整個存儲系統由上百個這樣的智能硬盤組成,其中有大量冗餘。在工做過程當中,硬盤可監測自身的狀態,一旦發現有可能發生故障,就將數據和任務轉移到冗餘的硬盤中,將故障消滅在萌芽狀態,並向管理員報告可能的故障,直接換上一個新盤便可。在整個過程當中,系統的運行幾乎徹底不會被中斷,具備極高的可用性和可維護性。從此,智能存儲概念的內涵應該比這個例子更加普遍,如可根據負載的大小和特色自動調整帶寬和RAID級別,感知多個用戶的存儲需求後自動分配存儲資源等。
數據存儲技術的熱潮已在世界範圍內興起,在國際學術界,一些著名的大學都大力開展了存儲技術和存儲系統的研究工做。在工業界,幾乎全部的著名IT企業都以至關大的力度推出了本身的存儲系統產品,同時在存儲領域出現了一大批新創業的公司。能夠預見,數據存儲技術將在近幾年獲得更快的發展。整體來講,我國學術界、工業界和有關部門尚未充分意識到信息存儲技術浪潮的到來及其重要性,與IT的其餘領域相比,信息存儲技術研究和開發的力度都很小。實際上,像RAID、NAS和SAN這樣的存儲系統開發主要是軟件和板卡級硬件設計工做,芯片和硬盤均可購買,適合於我國的技術水平,其增值空間大,市場需求強烈,能夠造成我國IT產業新的經濟增加點。