儲存月報第61期：NVMe傳輸應用邁入新階段：NVMe over TCP進入主流儲存產品

作為新一代低延遲儲存傳輸架構標準的NVMe over Fabrics（NVMe-oF），經過了5年的發展後，於近日進入了一個新階段，從早期嫁接在RoCE乙太網路或FC網路的型式，發展到嫁接於TCP網路架構的型式，也大大降低了NVMe-oF的部署門檻，可使用標準的乙太網路來建構NVMe-oF，勢必也將大幅加速這種傳輸應用的普及。

NVMe既能應用在伺服器的內部I/O架構，作為搭配SSD的高效能傳輸介面，也能應用於外接儲存設備的遠端傳輸連接，作為低延遲的高效能儲存網路。

早在2016年5月，NVMe標準組織就發布了NVMe-oF 1.0協定，但由於缺乏一些必要的功能，因而未能獲得儲存廠商的普遍接受。一直到了2018年以後，隨著相關標準逐漸完善，NVMe-oF才陸續為儲存廠商接受，列入前端介面的支援選項中。

NVMe-oF傳輸架構的發展路線選擇

NVMe-oF傳輸架構的部署，可以採取兩種路線：一為使用專門訂製的網路硬體，另一是把NVMe-oF嫁接在既有的網路環境上。

其中的專屬網路硬體路線，必須使用專門的NVMe I/O介面卡與纜線，不僅成本高，應用限制也多，市場最終不接受，例如作為市場上第一款NVMe儲存陣列產品的EMC DSSD D5，便是因此而失利。相較之下，讓NVMe-oF嫁接使用既有網路環境，便相對容易部署。

所以，關鍵的問題，便是選擇將NVMe-oF嫁接到哪一種網路上。

過去幾年的發展，陸續出現了多種NVMe-oF嫁接網路選擇，包括：嫁接在FC的NVMe-over-FC（NVMe/FC），嫁接在RoCE乙太網路的NVMe-over-RoCE（NVMe/RoCE），嫁接在iWARP乙太網路的NVMe-over-iWARP（NVMe/iWARP），嫁接在TCP乙太網路上的NVMe-over-TCP（NVMe/TCP），以及基於InfiniBand的NVMe-over-InfiniBand（NVMe/InfiniBand）等幾種。

不過，其中只有NVMe/FC與NVMe/RoCE等2種，獲得主流廠商與產品的支援，關鍵在於：FC與RoCE兼具效能、技術風險、普及性等方面的優勢——效能表現明顯優於TCP與iWARP，更容易實現NVMe-oF的低延遲要求，在企業環境中又比InfiniBand更普及，便於企業環境導入。

基於TCP的NVMe-oF架構開始興起

過去2年來，多數一線儲存大廠都先後透過NVMe/FC，或NVMe/RoCE等兩種方式，將NVMe-oF傳輸架構引進到主力儲存產品線，然而就整體企業儲存應用來看，這只能算是達成將NVMe-oF導入企業儲存的第一步而已，若要進一步推廣NVMe-oF的部署範圍，無論NVMe/FC還是NVMe/RoCE均力有未逮，只有轉向NVMe/TCP，才能達到普及NVMe-oF的目的。

事實上，過去2、3年來，持續有新創廠商嘗試在儲存產品上使用NVMe/TCP，例如Pavilion Data早在2018年，便為其Pavilion儲存陣列同時支援了NVMe/TCP與NVMe/RoCE，其他支援NVMe/TCP的產品，還有Lightbits Labs的LightOS儲存平臺，Infinidat的Infinibox儲存陣列，Toshiba（現在的Kioxia）的Kumoscale NVMe-oF陣列軟體，以及Solarflare的儲存平臺等。問題在於，NVMe/TCP相關應用一直局限於新創廠商與非主流產品，遲遲未獲大廠採用，以致無法成為主流。

而到了今日，NVMe/TCP的應用終於出現突破性的進展，包括Dell、VMware與NetApp等一線大廠，都宣布將開始支援NVMe/TCP。

首先，是NetApp率先在9月初宣布，將在ONTAP 9.10.x儲存作業系統的下一次重大升級，納入NVMe/TCP的支援，預計今年年底前便會推出。

接下來，VMware也在9月底時宣布，即將於第3季推出的vSphere 7 Update 3與vSAN Update 3中，將支援NVMe/TCP。與此同時， Dell也宣布旗下的PowerStore儲存陣列產品線，將會透過新的SmartFabric Storage Software（SFSS）軟體功能支援NVMe/TCP，並透過SFSS的中介，藉由NVMe/TCP來與VMware vSphere整合。依據Dell的規劃，PowerStore對NVMe/TCP的支援預定於11月正式推出，接下來Dell另外幾條主力產品線，如PowerMax與PowerFlex，也都將陸續支援NVMe/TCP。

在NetApp、VMware與Dell等一線大廠的支持下，NVMe/TCP也將成為部署NVMe-oF傳輸架構的主流形式之一，可望後來居上，取代NVMe/FC或NVMe/RoCE，成為最重要的NVMe-oF部署路線。

普及NVMe-oF的加速器

相較於NVMe/FC或NVMe/RoCE，NVMe/TCP受到較「重型」的TCP協定所拖累，效能表現無法與前兩者相比。

以Pavilion Data的測試為例，同樣的Pavilion陣列，在使用NVMe/RoCE時的存取延遲為107μs，而換成NVMe/TCP，存取延遲增加到183μs，NVMe/TCP要慢了71％。

一般來說，在各種NVMe-oF嫁接架構中，NVMe/RoCE的延遲最少，可以達到100～120μs的程度，NVMe/FC則為150μs，至於NVMe/TCP的延遲則在200μs等級，比NVMe/RoCE慢了一倍左右。因此多數一線大廠，都是選擇先天具有較佳效能的FC或RoCE，來做為部署NVMe-oF的切入點，較容易實現NVMe-oF的低延遲需求，技術風險相對較低。

但NVMe/TCP受到矚目的原因，在於具備適中的效能與成本。

就效能來說，NVMe/TCP固然比不上NVMe/FC與NVMe/RoCE，但比起一般的iSCSI或FC傳輸架構，已有極顯著的改善，延遲只有iSCSI或FC的一半或1/4以下。

而在成本方面，NVMe/FC是架構在價格相對昂貴的FC儲存網路上，也只適用於部分較新款的FC交換器與FC HBA卡，部署成本與門檻相對較高。類似的，NVMe/RoCE也只適用於支援RoCE的乙太網路環境，部署成本與門檻也不低。

相較下，NVMe/TCP只需使用標準的乙太網路就能部署，成本與導入門檻，都遠低於NVMe/FC與NVMe/RoCE。

如VMware便聲稱，NVMe/TCP可以為vSphere虛擬化平臺的用戶，在既有的儲存硬體資產上，提供快速、簡單、經濟高效的升級路線。

因此，比起NVMe/FC與NVMe/RoCE，NVMe/TCP更有利於推動NVMe-oF傳輸應用的普及，讓資源有限的用戶，能以低成本的方式來導入NVMe-oF架構。

iSCSI的接班人首選

除了部署成本低的優勢外，NVMe/TCP架構在標準乙太網路上的特性，還可望成為iSCSI的接班人。

iSCSI同樣也是架構在標準的乙太網路上，為用戶提供了低成本的區塊儲存網路建構選擇，因而成為許多入門級區塊儲存應用的首選，也是虛擬化平臺最主要的傳輸架構，應用遠比FC廣泛許多。

而隨著NVMe/TCP的成熟與普及，也為iSCSI的用戶，提供了理所當然的升級選擇。NVMe/TCP與iSCSI同樣都是建構在標準的乙太網路環境上，既有的乙太網路與iSCI環境，可以很容易地升級為NVMe/TCP架構，從而獲得顯著減少存取延遲的效益。

因此，在NetApp與Dell之後，我們可以預期其他大廠也會陸續加入支援NVMe/TCP的行列，最終，讓NVMe/TCP超越NVMe/FC與NVMe/RoCE，成為主流的NVMe-oF部署型式。

NVMe/TCP與iSCSI，同樣是建構在標準乙太網路環境上區塊傳輸協定，但NVMe/TCP上層堆疊更輕量，能提供更多的佇列數量（Queues）與更大的佇列深度（Queues depth），效能遠高於iSCSI，存取延遲不到iSCSI的一半甚至1/4以下。

@圖片來源：NetApp