在企業環境中,對磁盤空間的需求是驚人的。數據備份、文件服務器、軟件鏡像、虛擬磁盤等都須要佔據大量的空間。對此,微軟在Windows Server 2012中引入了重複數據刪除技術。
重複數據刪除技術經過將文件分割成小的 (32-128 KB) 且可變大小的區塊、肯定重複的區塊,而後保持每一個區塊一個副本,區塊的冗餘副本由對單個副本的引用所取代。這樣,文件再也不做爲獨立的數據流進行存儲,而是替換爲指向存儲在通用存儲位置的數據塊的存根。所以,咱們能夠在更小的空間中存儲更多的數據。此外,該項技術還會對區塊進行壓縮以便進一步優化空間。
根據微軟官方的介紹,該項技術有四大好處:
1、容量優化:「重複數據刪除」使得 Windows Server 2012 可以在更少的物理空間中存儲更多的數據,並得到比之前版本的 Windows 操做系統明顯更高的存儲效率。之前版本的 Windows 操做系統使用單實例存儲 (SIS) 或 NTFS 文件系統壓縮。「重複數據刪除」使用可變分塊大小和壓縮,常規文件服務器的優化率爲 2:1,而虛擬數據的優化率最高可達 20:1。
2、伸縮性和性能: Windows Server 2012 中的「重複數據刪除」具備高度的可伸縮性,可以有效利用資源,而且不會產生干擾。它能夠同時對多個大容量主數據運行,而不會影響服務器上的其餘工做負載。經過控制 CPU 和內存資源的消耗,保持對服務器工做負載的較低影響。此外,用戶能夠靈活設置什麼時候應該運行「重複數據刪除」、指定用於消除重複的資源併爲「重複數據刪除」建立有關文件選擇的策略。
3、可靠性和數據完整性:在對數據應用「重複數據刪除」時,保持數據的完整性。Windows Server 2012 利用校驗和值、一致性和身份驗證來確保數據的完整性。此外,Windows Server 2012 中的「重複數據刪除」會爲全部元數據和最常引用的數據保持冗餘,以確保這些數據能夠在發生損壞時進行恢復。
4、與 BranchCache 相結合提升帶寬效率:經過與 BranchCache 進行集成,一樣的優化技術還可應用於經過 WAN 傳輸到分支機構的數據。這會縮短文件下載時間和下降帶寬佔用。
做爲系統管理員,有那麼好的技術,天然是要來嘗試一下。
首先要爲系統添加Data Deduplication角色服務器
打開Server Manager,並點擊File and Storage Services性能
選中Volumes,在你想要應用該項技術的捲上右鍵點擊並選擇Configure Data Deduplication測試
爲了測試方便,把Deduplicate files older than的默認值5改成0優化
在實際應用中還能夠根據本身的須要改變執行計劃操作系統
如今咱們來看一下實際效果。
我在硬盤上拷了5個如出一轍的文件,單個文件大小爲3.43G,可見當啓用了重複數據刪除以後,總共大小爲17.1G的5個文件在磁盤上居然只佔用了0bytes3d
再查看一下整個卷的狀況,共佔用3.38G,這3.38G天然就是數據區塊的存根blog
我又嘗試將這塊啓用了重複數據刪除的硬盤放到一臺裝有Windows Server 2008的服務器上,在這臺機器上能讀出上面的文件信息,但無法使用這些數據。內存