FreeBSD結合ZFS檔案系統，威聯通NAS邁向企業級應用的里程碑

 威聯通ES1640dc硬體組態 

ES1640dc是威聯通企業級NAS新的旗艦機型，系統軟體採用以ZFS檔案系統為基礎的新架構，機箱也是新的設計，採用了威聯通產品首見的雙控制器組態，並有一些特殊的配置需求。

由於QES作業系統要求使用部份磁碟空間用於存放設定與執行資料，所以ES1640dc機箱最下方的1～4號磁碟槽中所安裝的磁碟機，預設為QES作業系統的儲存空間，QES會在這4臺磁碟上切出部分空間（13GB），作為作業系統使用的隱藏磁碟區，用戶不能任意卸除這4臺磁碟。QES會將系統以鏡像方式分散存放在這4臺磁碟機的隱藏磁碟區中，可以容許其中3臺失效，而仍維持系統隱藏磁碟區的運作。

1～4號磁碟機扣除系統占用以外的剩餘空間，仍可作為SSD快取區域使用，也能加入儲存池作為共享儲存空間。

 威聯通ES1640dc徹底解剖 

內含雙控制器的機架式機箱，是企業級儲存設備十分常見的機箱組態，不過對於出身自消費端NAS產品的威聯通來說，卻是第一次採用的設計。ES1640dc機箱內含的2組控制器，組成了Active-Active的高可用性架構，從磁碟、電源供應器到控制器，以至前端存取用的10GbE網路埠，以及外接JBOD的SAS擴充埠，都提供了失效容錯備援能力，達到了企業級儲存高可用性的基本要求。

 控制器解剖 

1.M.SATA介面Flash記憶體

這組32GB的M.SATA介面SSD，是作為NVRAM的第2重保護措施。當外部供電中斷時，控制器可透過備援電池模組繼續向NVRAM供應電力，與此同時，QES也會將NVRAM中的資料寫入到這組SSD中，確保寫入資料的完好，也就是所謂的「Copy-to-flash」機制。

2.系統記憶體

一共安裝了3條16GB的DDR3 RDIMM記憶體，其中2條是作為系統記憶體使用，一共32GB，可升級到64GB。另一條靠最外側的記憶體則是可透過備援電池單元（BBU）供電的NVRAM模組，專門配置為QES作業系統的ZIL寫入區域，藉此提供寫入加速效果。

3.10GbE網路控制器晶片

ES1640dc並不像其他儲存設備般，是透過外加PCIe擴充卡或擴充子卡的方式來提供10GbE介面，而是直接在主機板上內建了Intel的X540-BT2 10GbE網路控制器，可提供2組RJ45型式的10GbE埠。

4.Xeon E5處理器

控制器核心是1顆2.2GHz的Xeon E5-2420 v2處理器，可提供6核心12執行緒，這雖然是比較舊的款式，但儲存設備的處理器規格，一般來說要比伺服器落後1、2代，所以這顆處理器在同級產品中已算是相當高的規格。

5.USB DOM

ES1640dc的QES作業系統，是存放在這組2GB容量的USB DOM中，這組USB DOM是唯讀，在系統初始化時，QES會另外在1～4號磁碟槽的磁碟上，建立隱藏分割區，用於存放執行用資料。

6. 預留PCIe插槽

控制器主機板上設有2組PCIe擴充槽，其中1組已預先安裝了1張LSI SAS HBA卡，用於提供2組SAS外接擴充埠。另一組空的PCIe擴充槽，則可視需要安裝額外選購的10GbE或40GbE網路卡。

 ES1640dc基本傳輸速率測試 

我們分別進行了CIFS與iSCSI兩種傳輸模式，以及單控制器與雙控制器兩種組態下的測試。為了避免SSD快取干擾這項大區塊循序存取測試，我們在測試中都關閉了QES作業系統的SSD快取功能。

從測試結果可以看出，ES1640dc在iSCSI模式的傳輸率要比CIFS/SMB快一些，這和多數NAS產品的情況相同。

無論是單控制器或雙控制器下，最大讀取速率都可達到2300MB/s，這幾乎已經達到測試中使用的12臺SAS硬碟性能上限。而在寫入速率方面，單控制器下最高只能達到1000MB/s出頭，但換成雙控制器，就能一舉提高到1800MB/s左右，這顯示若要充分發揮寫入效能，最好是採取雙控制器組態。

 測試組態  安裝12臺Seagate Constellation ES.3 1TB 7200轉SAS硬碟，作業系統版本1.1.2
 測試平臺  ASUS RS520,Xeon E5-2620 v3 2.4GHz×2, 16GB記憶體, Windows Server 2012 R2
 測試工具  IOmeter 1.1.0，執行1MB的循序100%讀取與100寫入
 測試方式  單控制器測試時，將全部硬碟配置給A控制器，並建立1個RAID 5磁碟區；雙控制器測試時各為A、B兩組控制器配置6臺硬碟，分別建立RAID磁碟區。執行iSCSI測試時，建立1個100GB iSCSI LUN透過2條10GbE通道以MPIO方式連接測試平臺；執行CIFS測試時，建立2個共用資料夾，各自透過1條10GbE通道掛載到測試平臺上成為網路磁碟機

 ES1640dc進階效能測試—壓縮與重複資料刪除的效能影響 

ES1640dc的QES作業系統，底層是ZFS檔案系統，因而也可使用ZFS內含的即時壓縮與重複資料刪除（De-Dupe）功能，藉此改善儲存空間利用效率。

不過，即時壓縮與重複資料刪除都會耗用處理器運算效能，為了衡量這2項功能對I/O效能帶來的衝擊，我們也進行了未啟用與啟用壓縮與重複資料刪除時的效能對比測試。

測試結果顯示，啟用壓縮功能時，無論對傳輸速率還是IOPS效能都幾乎沒有任何負面影響。而在啟用重複資料刪除功能時，不會影響讀取效能，但寫入效能會受到很大衝擊，降低了大約一半左右，等同於是以較低的寫入效能，來換取較佳的儲存空間運用效率。

所以，這也是兩種功能有不同預設值的原因，QES作業系統在建立共用資料夾或iSCSI LUN時，是預設啟用壓縮功能，但重複資料刪除功能便必須在用戶勾選後才會啟用。

 測試組態  同基本傳輸率測試
 測試工具  同基本傳輸率測試
 測試平臺  同基本傳輸率測試
 測試方式  在NAS上建立1個單控制器RAID 5磁碟區，建立1個100GB iSCSI LUN透過2條10GbE通道以MPIO方式連接測試平臺；先進行不開啟壓縮與De-Dupe的基本測試，然後依序為iSCSI LUN啟用壓縮與De-Dupe，比較傳輸速率的變化。

 ES1640dc啟用讀取快取加速讀取I/O —SSD快取測試 

利用ZFS檔案系統的L2ARC讀取快取功能，ES1640dc的QES作業系統也提供了SSD快取的選項。

利用QES儲存空間總管的快取加速選項，可將任意磁碟槽中安裝的SSD，設定為讀取快取的空間，藉此加速讀取效能。用戶能為個別共用資料夾或iSCSI LUN，選擇是否啟用SSD快取。

SSD讀取快取的「學習」速度是80MB/s，所以若磁碟區較大的話，需要耗費較長的學習時間，快取命中率才會提高。QES的快取功能也提供了略過大區塊連續讀取I/O的選項（稱作Bypass Prefetch Data），可避免讀取快取反而干擾到大資料量連續讀取效能的情況。

在我們的測試中，我們花了數小時的時間，讓快取命中率達到接近100%的程度，此時的IOPS效能比起未啟用快取時，快了將近35倍，顯示出SSD快取對於隨機存取效能的功效。

 測試組態  安裝10臺Seagate Constellation ES.3 4TB 7200轉SAS硬碟與4臺Seagate Pulsar 100GB
 測試平臺  同基本傳輸率測試
 測試工具  IOmeter 1.1.0，執行4KB的100%隨機讀取
 測試方式  在NAS上建立1個RAID 5磁碟區，建立1個100GB iSCSI LUN，以2條GbE通道透過MPIO掛載到測試平臺成為磁碟區。啟用QES作業系統的SSD 讀取快取功能，將4臺100GB SSD設定為讀取快取，然後透過IOmeter量測隨機存取IOPS數值

圖像化的SSD快取管理功能

QES作業系統網頁控制臺的儲存空間總管，提供了十分好用的SSD快取管理功能，可在此將SSD設定為快取，選擇讓哪些共用資料夾與iSCSI LUN使用快取，並監看快取命中率的變化。

ZFS儲存家族新成員：威聯通QES作業系統

藉由強大的功能與開放的特性，ZFS檔案系統自問世以來，便為許多儲存產品選用為系統核心，透過ZFS提供可靠、功能強大且易於管理的儲存服務，並因此形成了一個「ZFS-based」儲存系統的產品類型。

較著名的ZFS儲存產品，包括Oracle的ZFS Storage Appliance、Nexenta的NexentaStor，國內也有普安推出的EonNAS系列（以上3款產品我們都曾測試報導），威聯通搭載QES作業系統的Enterprise ZFS NAS，也就是ES系列NAS，則是這個家族的最新成員。

ZFS檔案系統可以配合多種作業系統使用，個別ZFS儲存產品廠商視自身情況而對作業系統也有不同的選擇。例如Oracle選擇的自然是自家的Solaris，Nexenta則選用OpenSolaris+Ubuntu，普安EonNAS採用OpenSolaris，至於威聯通的QES作業系統，則選用FreeBSD來與ZFS搭配。

透過在底層使用ZFS檔案系統，這些ZFS-based儲存設備，可以直接整合ZFS本身內含的各式各樣先進儲存管理與應用功能，包括靈活的儲存池管理架構、包括ZFS Intend Log（ZIL）與checksum驗證在內的多種資料完整性機制、豐富的RAID模式，以及基於Copy-on-Write架構、可變長度區塊與動態Striping等機制，可自動化動態調節的資料寫入架構，還有L2ARC讀取快取、快照、重複資料刪除、壓縮、Thin Provisioning、配額與保留空間等多種進階資料服務功能。QES也同樣整合了前述ZFS的功能，藉此提供完整的儲存管理架構。

除了直接源自ZFS的功能外，威聯通也為QES加入了許多自身的特色。

首先，是為QES套上了一個與威聯通QTS作業系統相同的控制臺介面。

其他ZFS儲存產品的管理介面，都是中規中矩的典型企業級儲存設備控制臺介面，而QES的網頁控制臺介面，則是源自威聯通原先用在消費端與入門級產品的QTS作業系統上，以親和易用而頗受好評的操作介面，比其他ZFS產品更容易上手使用，用戶能以等同於消費端NAS的操作便利性，來管理擁有企業級架構與功能的QES作業系統。

其次，為了配合ES系列NAS的雙控制器功能，QES作業系統內含高可用性管理員，可用於2組控制器之間的切換作業操作。

第三，威聯通為支援VMware平臺下了許多的功夫，QES不僅能完整支援VMware VAAI架構，可卸載執行Hypervisor的許多存取作業，還能支援VMware的SRM異地備援管理架構。利用威聯通提供的Storage Replication Adapter（SRA） Plug-in軟體套件，可以將ES1640dc嵌入到VMware SRM架構中，利用ES1640dc的Snapsync遠端複製功能，在SRM的管理下於2個站點間執行遠端複製，並進行備援切換作業。

便利的快照管理操作

用戶可透過控制臺中的儲存空間總管，以手動或預設排程，為個別共用資料夾或iSCSI LUN建立快照，並利用快照複本還原原始資料夾或磁碟區。

與QTS一致的便利控制臺介面

雖然底層採用完全不同的核心與檔案系統，但威聯通仍為QES作業系統套上一個與入門級QTS作業系統相同的網頁控制臺介面，用戶可透過這個便利的介面，來操作QES的各式管理功能。

利用高可用管理員管理雙控制器

為了配合ES1640dc機箱的雙控制器高可用性設計，QES作業系統也提供了高可用管理員，可用於監控與執行2組控制器之間的失效切換作業。

整合豐富進階資料服務功能

藉由底層採用ZFS檔案系統的便利，QES作業系統也跟著整合了ZFS的Thin Provinsing、壓縮與重複資料刪除功能，用戶建立個別共用資料夾或iSCSI LUN時，可選擇是否啟用這些進階功能。

可整合VMware SRM異地備援架構

透過威聯通提供的SRA plug-in軟體套件，可將ES1640dc整合到VMware的SRM異地備援架構中，利用QES遠端複製功能，在2個站點間複製資料，並接受SRM管理