從專屬功能邁向通用功能，重複資料刪除技術的全面擴散

在當前企業儲存應用的資料縮減技術中，重複資料刪除是效果最卓著的一種，可說是這類技術發展的指標，也是我們觀察這領域的重點。

重複資料刪除技術問世至今，已有超過15年時間，從最初的特定領域的專屬應用功能，逐漸擴散為一般環境的通用功能，我們可將這個過程分為3個階段：

第一階段：備份應用時期

大約在2003～2004年間，Avamar、Data Domain、ADIC等廠商，率先推出應用了重複資料刪除技術產品，都是用於備份領域，包括備份軟體、備份儲存伺服器與虛擬磁帶櫃（VTL）。

接下來的2、3年內，又有更多廠商推出含有重複資料刪除功能的產品，而其應用的形態亦大致不脫前述的範圍，不過，此時，也開始出現其他領域的重複資料刪除應用，例如，NetApp用於FAS與NearStore儲存伺服器的A-SIS重複刪除，以及Riverbed內含重複資料刪除處理能力的Steelhead網路閘道器。

到了2009年，這項技術在備份應用上，迎來一波高潮，在CA與CommVault帶頭下，重複資料刪除開始整合到主流備份軟體，而Acronis與Symantec（Veritas）等備份軟體大廠，也緊隨其後，重複資料刪除從此成為備份軟體的一項基本功能。

第二階段：進入全快閃儲存應用

在2010年，備份領域完成了重複資料刪除技術的普及，與此同時，這項技術也開始被應用到一個新領域，也就是當時相當熱門的全快閃儲存陣列。

有別於早先的全快閃儲存陣列廠商，在2010年的前後，以Pure Storage、SolidFire、XtremIO為首的新創公司，在他們發展的全快閃儲存陣列，引進重複資料刪除功能，訴求藉此減少昂貴的快閃記憶體容量耗用與寫入損耗。這樣的作法獲得了市場肯定，於是一線大廠也陸續跟進，到了2015～2016年以後，重複資料刪除開始成為全快閃儲存陣列領域的標準功能。到了今日，甚至可以說，全快閃儲存陣列必須要有這項功能，才會被視為擁有足夠的競爭力。

第三階段：邁向通用環境應用

重複資料刪除的應用，在2016年以後又跨了一大步，開始進入一般通用應用領域。以往，只有用於備份、全快閃儲存系統的專用平臺才會提供重複資料刪除，而在此之後，通用的作業系統與應用平臺也開始內建重複資料刪除功能。

事實上，很早就有通用作業系統提供重複資料刪除功能，但應用上一直不能打開局面。如微軟的Windows Storage Server 2003 R2，就有稱作單實例儲存（SIS）的檔案級重複資料刪除功能，但局限較大，無法發揮縮減資料的潛力。

後來在2009年初，昇陽（Sun）Solaris提供ZFS檔案系統，成為第一個擁有完整重複資料刪除功能的通用作業系統，但Sun於2010年為Oracle併購後，Solaris與ZFS的發展便陷入低谷。接下來，到了2012年，Windows Server 2012也導入了重複資料刪除功能，但限制頗多，且只適用於NTFS，而不適用於新的ReFS檔案系統。稍後的Windows Server 2012 R2，也只略微升級了重複資料刪除。

這樣的情況，到了2016年以後有了變化，代表性的事件，是VMware在vSAN 6.2中，提供了包含重複資料刪除在內的完整資料縮減功能，讓vSphere平臺藉此得到重複資料刪除技術應用。

Windows平臺也有新發展。在2016年推出的Windows Server 2016，對重複資料刪除作了顯著改進；隨後，2017年發行的新版Windows Server（1709版），搭配的ReFS 3.2版檔案系統，也終於新增支援重複資料刪除，讓Windows平臺的重複資料刪除功能趨於完整。

在Linux平臺方面，過去我們若要取得這項服務，雖然可以透過所謂的使用者空間檔案系統（Filesystem in Userspace，FUSE），來掛載ZFS、Lessfs之類具備重複資料刪除功能的檔案系統，但遠比不上原生支援來得方便與高效。

直到2018年，RedHat在RHEL 7.5當中，導入併購Permabit後取得的VDO虛擬資料最佳化工具 （Virtual Data Optimizer），可透過整合在儲存服務底層的VDO層，提供壓縮與重複資料刪除服務，而這也讓Linux平臺終於擁有完整的原生資料縮減技術。

至此，VMware vSphere、Windows與Linux等3大主流通用平臺，都擁有了重複資料刪除功能，讓這項技術的普及進入一個新階段。綜觀目前的主流通用平臺中，重複資料刪除技術應用尚未進入的領域，也只剩公有雲平臺而已。

 相關報導  企業儲存瘦身術邁向新境界