儲存月報第41期：節省公有雲租賃成本的秘訣：在雲端上使用重複資料刪除

公有雲服務是依照使用量計費，也就是依照使用時間的長短，服務的等級，以及耗用的容量來計算費用。由於儲存空間的耗用，是影響雲端使用成本的一項關鍵要素，因而，這也讓專門用於縮減儲存容量耗用的重複資料刪除技術（Data Deduplication），在雲端上有了用武之地。

重複資料刪除技術在企業IT環境的應用，已有十多年時間，最初主要是用在備份儲存領域，減少用戶備份資料耗用的儲存空間，現在已經成為備份與相關資料保護應用產品的標準功能。

在備份應用之外，重複資料刪除技術也逐漸擴散到其他領域，例如，許多遠端複製應用與儲存陣列產品，都引進了重複資料刪除功能，用於減少遠端傳輸頻寬與儲存空間的耗用，特別是在全快閃儲存陣列領域，重複資料刪除更是基本功能之一，以便減少昂貴的快閃記憶體的耗用與寫入損耗。另外，一些作業系統，如Windows Server 2016、Windows Server 2019，以及檔案系統如ZFS等，更已內建了重複資料刪除功能。

而到了現在，重複資料刪除也已擴散到公有雲服務上，用戶可以透過公有雲不同服務中提供的重複資料刪除功能，在公有雲環境中使用這項技術，從而達到節省公有雲儲存容量耗用、節省租賃成本的效果。

在公有雲使用重複資料刪除的3條途徑

考慮到重複資料刪除運算會造成效能上的損耗，以及存取服務品質上的不確定性，公有雲服務商目前多不在原生的基本儲存服務上，直接提供重複資料刪除，但企業用戶仍可透過3種方式，在公有雲上取得重複資料刪除功能：

（1）透過運算服務中的重複資料刪除：利用部署於執行個體或VM上的作業系統或檔案系統，來提供重複資料刪除功能，例如，為用戶的執行個體或VM，安裝擁有支援重複資料刪除功能的Windows Server或ZFS。

（2）透過儲存空間服務中的重複資料刪除：部份公有雲儲存服務本身內含了重複資料刪除功能，或是可透過其他元件的介接，來支援重複資料刪除應用，前者如AWS日前新推出的Amazon FSx for Windows File Server，後者如AWS S3可透過備份伺服器或儲存閘道器的介接，來支援重複資料刪除應用。

（3）第三方廠商提供的重複資料刪除：公有雲應用市集中許多第3方廠商提供的應用軟體服務，都能為用戶的公有雲應用提供重複資料刪除功能，這些服務可以分為幾種類型，包括儲存空間服務類型的NetApp Cloud Volumes ONTAP與Cloud Volumes Service，Pure Storage的Cloud Block Store（CBS），備份與資料保護應用軟體類型的Avamar（Virtual Edition）、Actifico Sky、Druva的Phoenix與inSync、以及Nakivo等；另外，眾多的雲端虛擬化NAS軟體與一些輔助工具，也都含有重複資料刪除功能，前者如SoftNAS，後者如Sungard用於輔助AWS EBS的Enhanced Snapshots。最特別的是StorReduce，提供搭配公有雲的重複資料刪除專用閘道器產品（StorReduce目前已併入Pure Storage）。

就節省空間的效果來說，在底層儲存服務層級的重複資料刪除功能，效益最高，可以為使用同一個儲存區域的所有執行個體或VM，提供全域的重複資料刪減。相對的，個別執行個體或VM層級提供的重複資料刪除，重複資料刪減效果只及於該執行個體或VM自身，效益便差了許多。

公有雲重複資料刪除應用的3種架構

從應用架構來看，我們又可以將公有雲上的重複資料刪除應用，區分為3種應用架構——運算主機端、儲存端，以及閘道器。

運算主機端的重複資料刪除

所謂的運算端，就是由執行個體或VM等運算單元來執行重複資料刪除，這也是最簡單的方式，只要在公有雲執行個體或VM上，部署含有重複資料刪除功能的作業系統（如Windows Server）或檔案系統（ZFS、Btrfs或Lessfs）即可。不過如前所述，這種架構下的重複資料刪減效果，只及於個別執行個體或VM。

儲存端的重複資料刪除

也就是公有雲儲存空間服務內含的重複資料刪除。如前所述，考慮到存取服務品質，公有雲服務上目前大多不直接在物件、檔案、區塊等基本儲存服務中，提供重複資料刪除功能。所以要使用這種架構的重複資料刪除，必須借助第3方廠商的應用軟體服務，如前面提過的NetApp Cloud Volumes ONTAP或Pure Storage的CBS等。

不過，近來開始出現了一些含有重複資料刪除功能、針對特定應用環境的公有儲存服務，最典型的就是Amazon FSx for Windows File Server。

相對於AWS上用於EC2的通用型EFS檔案儲存服務，FSx這項服務是專門針對Windows工作負載應用，提供了可按需訂購與直接使用的Windows檔案儲存空間，包括用於存放檔案與資料夾的檔案系統，以及共享儲存空間。FSx的底層架構在SSD上，可減少存取延遲，用戶的執行個體可透過SMB或CIFS協定連接FSx的儲存空間。目前FSx可以支援最大2048Gbps的傳輸頻寬，以及最大64TB的檔案系統空間。

閘道器型式的重複資料刪除

透過特定的中介設備，如閘道器或備份伺服器等，來執行重複資料刪除，然後再存放到雲端儲存空間上，其中閘道器是通用服務，只要將儲存資料導入閘道器上即可發揮作用，備份伺服器則是備份應用軟體的一部份，只適用於備份服務。

其中閘道器類型的產品，最典型的是StorReduce，可將AWS S3、Azure Blob等雲端物件儲存系統的資料，導入StorReduce伺服器，經過重複資料刪除運算後，再寫入雲端儲存空間。

至於備份伺服器則是個別備份軟體提供，透過代理程式將公有雲執行個體、VM或資料庫的備份資料，經由備份伺服器的重複資料刪除運算後，再寫入雲端上的備份儲存空間。目前幾乎所有雲端上的備份應用服務，都能透過備份伺服器提供重複資料刪除功能。