做者:崔昊 - DOIT傳媒執行總編,七年IT媒體從業經驗,關注服務器、存儲和信息化領域 php
數據普遍存在於企業的IT系統中,是企業發展的核心,一切的IT系統發展都有賴於數據,並服務於面向企業業務的數據管理需求。隨着IT行業的發展以及企業對數據管理要求的不斷進步,數據管理的「智能」趨勢已經銳不可當,智能的數據管理正在成爲全部企業所追求的共同發展目標。數據庫
本文是《數據管理的智能趨勢》系列文章的第五篇,在本篇文章中,您將瞭解到,在將來的12-24個月中,您可能將會遇到的數據管理方式所發生的變化,以及這種變化可能對您的數據管理模式所形成的深入影響。在這個系列的最後一篇文章中,咱們將帶您走進全新的智能數據管理世界,瞭解面向將來的數據管理方式的將會是什麼模樣。服務器
服務器在數據中心的地位正在降低,存儲系統——得益於數據重要性的日益增強——在數據中心的地位正在穩步上升,企業信息化與IT系統的核心發生實質的轉變:計算能力再也不是評價的主要標準,對信息與數據的掌控是CIO最迫切的訴求。網絡
據Gartner的報告顯示,2010年全球基於控制器的外置(ECB)磁盤存儲收入比2008年的高位水平超出了14億美圓。2010年ECB存儲收入超過194億美圓,比2009年的165億美圓高出了18.1%1。而一樣基於Gartner的數據,2010年第四季度全球服務器市場出貨量增加6.5%,營收增加16.4%2。自2010年開始,企業在服務器上的投資年均增幅已經開始逐漸小於在外部磁盤存儲上的投資(主要是數據中心的網絡存儲系統),存儲開始超越服務器成爲IT投資主要增加點。架構
正由於如此,數據管理的話題纔會引起如此多的人熱議,也催生了《數據管理的智能趨勢》這個文章系列的誕生,在以前的文章中,存儲管理、虛擬化、數據保護和雲計算組成了智能數據管理在當下迫切須要解決的話題,但面向將來,數據管理的趨勢是否一成不變?二、3年後的數據中心,當存儲系統與數據管理架構成爲數據中心的核心價值,是否將會發生新的改變?分佈式
答案是確定的,在過去三十年,SAN和NAS幾乎統治了存儲市場,但這一切已經開始發生改變,對象存儲、融合設備正在興起;存儲系統的生命週期正在縮短,本來5-7年的生命週期,被數據爆炸逐步壓縮到3-5年;數據中心內鏈接的方式看起來也正在從光纖通道轉變爲新的鏈接手段;即使是數據自己,看起來也在發生着改變……ide
就像國家制定「十二五」計劃,爲將來五年設置目標、指導意見和實現的路線圖。企業數據中心的IT規劃一樣須要爲五年,甚至更長時間的發展作出規劃,而數據做爲最重要的,而且是惟一將貫穿始終的部分,爲其作出長期規劃的必要性不言自明。性能
但在如此複雜和多變的信息與數據組成的世界中,面向將來制定長期的數據管理規劃,是企業CIO將面臨一大挑戰。智能是必然的發展方向——解放人力下降成本,加大自動化、智能化的比重——智能數據管理已經展示出其做爲「面向將來的數據管理」方法的重要優點——讓信息、數據、存儲系統和整個數據中心變得更加智能,這老是沒錯的。大數據
鏈接方式改變數據存儲:10GbE,FCoE,DCB動畫
2007年4Gb/s光纖通道(FC,Fiber Channel)成爲數據存儲的主流以後,FC在數據中心市場就開始進入發展的平臺期,雖然FC已經在數據中心——尤爲是存儲系統——的外部鏈接市場佔據極高的市場份額,但因爲價格與擁有成本、技術發展速度的桎梏,發展的速度受到了極大的侷限。在10Gb/s以太網技術成熟以後,FC雖然以8Gb/s的新一代速率產品應對,但縱觀將來3~5年的發展,以及10Gb/s以太網現在極快的發展勢頭,這二者競爭雖然仍有很多光纖通道廠商仍堅持己見,但勝負其實已經很是明顯。
圖釋:向10GbE的遷移已經開始,2012年將成爲顯著的拐點
伴隨着10Gb/s以太網的發展,FCoE和DCB也應需而生。隨着10Gb以太網漸行漸近,基於以太網的光纖通訊技術(FCoE)和新的無損10Gb/s以太網(Data Center Bridging,簡稱 DCB)技術開始在數據中心流行開來,將來數據中心網絡融合的基礎將構建在10Gb以太網架構上。
FCoE力爭在以太網上實現光纖通道才具備的特性,它能夠將光纖通道信息插入以太網信息包內,從而讓服務器-SAN存儲設備的光纖通道請求和數據能夠經過以太網鏈接來傳輸;DCB則提供了一個可以最大限度地減小丟包現象的網絡基礎設施,進一步擴展了以太網,因爲 DCB提供了"無損"網絡,所以它可以最大限度地提升網絡性能的可預測性,也爲存儲系統真正實現運行在以太網環境中提供了基於低成本的可能性。
10Gb/s以太網、FCoE和DCB,三種鏈接方式正在改變數據存儲,一樣也在改變着數據管理的方式,隨着以太網在下一代即將邁向40Gb/s而FC的下一代則僅僅爲16Gb/s,且DCB和FCoE技術大大提升了以太網的應用水平和範圍,以太網存儲系統和光纖通道存儲系統在存儲市場的比例將發生很大的改變,以太網頗有可能超越光纖通道在存儲系統中佔據主流。
開始採用或逐步過渡到以太網存儲系統是面向將來的數據管理的必經之路,以EqualLogic在以太網市場上每一年兩位數的增加速度可以看出大勢所趨,而Compellent存儲系統實現FC+IP SAN併爲FCoE準備就緒的統一存儲,則爲將來5~7年的過渡與替換期作足準備——如今是時候爲以太網時代作好準備,由於以太網全面佔據光纖通道存儲系統市場份額的事情,的的確確會在將來3年發生。
數據開始流動 系統升級加快步伐
在分層存儲技術成熟之前,數據被靜態的存儲在一成不變的介質中,只有等到確認一份數據再也不被使用,或是再也不被常用,數據纔會隨着歸檔軟件對歸檔服務器的巨大資源佔用,被歸檔到更爲低成本的磁盤或是磁帶上面。數據的靜止形成了存儲系統的巨大浪費。
隨着Compellent爲首的自動分層存儲技術的成熟,以及由EqualLogic、Compellent等存儲系統所帶來的橫向擴展架構——同代甚至是多代之間的存儲系統可以造成一個統一的存儲池——數據開始在不一樣的介質、不一樣存儲節點之間流動,加之磁盤備份存儲系統開始取代磁帶成爲備份的高效替代系統,數據的流動比以往任什麼時候間更加流暢。
若是你的數據還停留在主存儲系統上,或是停留在昂貴的在線磁盤上,高昂的成本和低效率的存儲系統會讓你迫切提升他們的效率和性價比,尤爲是在虛擬化時代來臨以後,不只數據動態變化,虛擬的服務器——虛擬機的創建、運營、中止並繼而消亡的過程來的比以往任什麼時候候都要快。一份數據可能今天仍是重要的案頭資料,明天可能就會成爲須要「暫存」到低成本系統甚至是進行歸檔的對象。
所以,自動分層存儲和橫向擴展必須成爲將來存儲系統的目標,而數據管理架構,也應該可以智能的識別出至少三個方面:一、哪些介質是高效的,哪些介質是低成本的,SAS磁盤、SATA磁盤或是SSD可否被識別出來;二、哪些數據須要被及時的備份、歸檔,哪些數據須要被精簡(重複數據刪除);三、哪些系統節點是新的性能更好的節點,而哪些又是可能被用來進行較低相應需求的應用的數據的承載。
若是你的數據管理架構,沒法實現這樣的智能數據管理,那麼,不只是你的存儲系統,你的數據中心、IT架構,都Out了!
進入大數據時代 進入雲計算時代
大數據(Big Data)與雲計算的勢頭已經難以抵擋,大數據問題的出現,主要是咱們如今所面臨一個新的數據量級的來臨:企業數據從TB到PB,我的數據從GB到TB——咱們對解決大數據問題的訴求來自於三點:一、生成數據的設備的增長,我的數字設備、企業計算系統產生的數據量遠遠超過10年前, CommVault的徐永興說2011年產生的數據量是1996年的180倍;二、文件(非結構化數據)自己的大小發生變化,從600MB的RMVB到了30GB的藍光1080P視頻;三、企業數據量增長,形成的數據庫龐大。
而云計算隨着這一輪浪潮的浮華褪去,也正在顯示其做爲業界發展趨勢的真實本質——不論雲計算是不是一種新的計算形態——好比有些人認爲其不過是分佈式計算和按需付費的結合——單就咱們但願雲計算所達成的目標:跨地域、高可靠、按需付費、所見即所得、快速部署等等這些都是過去二十年IT行業所追尋的。如今咱們能夠說,雲計算將是新的IT生態,固然,雲計算正面臨着大數據和混合雲需求的考驗。
天然而然,雲計算和大數據將是將來的數據管理的一大挑戰,對於雲計算,在以前的文章中咱們已經談過以太網存儲(IP SAN)、橫向擴展、自動分層、重複數據刪除以及無縫擴展的意義,但對於大數據而言,咱們一樣須要解決辦法——與大多數宣傳所談的不一樣——我認爲大數據不只存在於大型企業,一樣存在於中小型企業中,因爲大數據多是單體文件(非結構化數據)的龐大,也多是來自於數據倉庫等應用的結構化大數據集的龐大。
圖釋:非結構化數據是大數據的重要組成部分,這是由於許多非結構化數據,都是大文件,好比視頻、動畫等等。
對於大數據集來講,橫向擴展可以解決所需而變,容量和性能線性增長的需求,但對於大文件,傳統的SAN存儲卻有些力不從心。所以,須要強大的文件存儲系統解決方案——前不久我採訪了戴爾全球中小企業企業產品管理總監安東尼•朱利奧(Antonio Julio),吃驚的發現,在收購Exanet以後,戴爾已經將其高性能、集羣式的文件系統技術整合爲戴爾可擴展文件系統(DSFS,Dell Scalable File System),並於2011年4月份推出了PowerVault NX3500,在最初的版本其單個文件系統的最大容量便可達192TB,單個文件也可以支持到4TB。
若是你以爲還不夠,以爲面向將來須要更多的存儲容量,更大的單一命名空間,一個不當心透露的消息可以讓你明白麪向將來的數據管理——大數據環境——其實並不難以知足:據DOIT論壇(http://bbs.doit.com.cn)上網友透露,戴爾立刻會在EqualLogic平臺上推出擴展到32個節點的集羣NAS方案FS7500。一樣來自於Exanet成熟的集羣技術。
圖釋:對象存儲系統適合存儲許多大文件,尤爲是醫療影像等。
除了傳統的文件存儲系統,對象存儲技術也成爲應對大數據的「能工巧匠」:對象存儲技術很是適用於PB級存儲應用,尤爲是視頻和影像對象的存儲——許多對象存儲系統被用在醫療影像領域——對象存儲能夠完成文件系統存儲所沒法完成的工做。它能夠用來儲存大量非結構化數據,而那正是當今世界上須要儲存的大多數數據。
IDM爲將來的數據管理提供保障
隨着文章的發展,咱們不難發現,從IP SAN、自動分層、自動精簡配置、重複數據刪除,到應對大數據的可擴展文件系統、對象存儲系統以及面對雲計算的諸多技術與產品特性,在智能數據管理體系下的存儲、數據管理方式,面向將來的存儲應用、數據管理作足了充分的準備,對於用戶來講,在智能數據管理體系下創建IT系統,就意味着獲得了至少5~7年可在路線圖上見到的可靠保證。
隨着IT行業的發展以及企業對數據管理要求的不斷進步,數據管理的「智能」 ... 模式,走向智能的數據管理——它將是虛擬化的、自動化的、整合的將來趨勢,記得筆者在戴爾的老朋友許良謀曾經對筆者說過,「智能數據管理不是口號,而是戴爾存儲將來幾年都會堅持的策略。」
戴爾的智能數據管理解決方案涉及的存儲技術領域,其中包括對象存儲、在線自動化分層存儲、重複數據刪除和統一存儲,都是將來幾年數據存儲行業所能預知的趨勢和發展方向。
所以,能夠說,智能數據管理爲將來的數據存儲作足了準備,而隨着戴爾在智能數據管理領域的不斷推進,該領域的技術、產品和解決方案也會持續的保持更新和發展,正如一位筆者所熟悉的分析師所說,中國的業務智能和數據管理需求在將來幾年會出現跳躍式增加。隨着數據量的不斷增長、數據價值的日益提高、數據存儲、數據管理和業務智能對金融、保險、電信、醫療、製造業等行業的企業核心競爭力將起着及其重要的做用。
總結:面向將來的數據管理方式已經顯現
《數據管理的智能趨勢》系列文章的第五篇也是最後一篇文章今天正式與你們見面,在過去的一個月裏,咱們與您探討了數據管理的智能趨勢,與您分享了戴爾在智能數據管理領域所帶來的清新的春風,固然,在此也很是感謝你們對於本系列文章的支持。
在文章最後,筆者但願再次強調,智能數據管理並不只僅只限於存儲軟件或是數據管理軟件、平臺,而是包括承載數據在整個生命週期中的各個硬件、軟件的平臺,將數據存儲在可靠地存儲系統上並利用系統自己完成對數據的工做要求,一樣是數據管理,因此說僅僅將數據管理定位在軟件功能上,是片面的。
將來,企業須要從整個企業巨大的數據量中洞察其業務狀況,而云計算、大數據的需求也將變得好比今更加迫切,瞭解智能數據管理,就是爲數據管理、存儲系統規劃做出堅實而又有益的一步。
如今就行動,爲將來的數據管理尋找絕佳的平臺。
相關資料:
1. Quarterly Statistics: Disk Array Storage, All Regions, 4Q10 Update
2. Gartner Dataquest's Servers Quarterly Statistics Worldwide programme 4Q10
3. 戴爾智能數據管理加速您的數據管理策略 http://www.dell.com.cn/idm
4. 戴爾EqualLogic助力高效企業提高效率 http://www.dell.com.cn/eql
5. 戴爾Compellent流動數據存儲 http://www.dell.com.cn/compellent
更多精彩文章請關注: