【外部I/O：乙太網路與InfiniBand角逐AI市場，SAS與FC力爭突圍】AI與儲存網路新規格應用大爆發

由AI應用推動的I/O架構加速演進浪潮，其中一個重要的影響，便是將原本高效能運算（HPC）領域的高效能網路架構需求，帶進一般企業資料中心，因為現在許多企業也需要高頻寬、低延遲的網路架構，來因應AI應用的資料傳輸需求，這也促成200/400Gb等級以上的高速乙太網路與InfiniBand，開始在企業端應用普及。另一個相對不起眼、卻仍十分重要的影響，是促使FC與SAS這2種老牌儲存介面，在數年沉寂後出現新發展。

乙太網路與InfiniBand的競爭

為了因應AI的龐大資料傳輸需求，讓原本以高效能運算領域為主的高階網路架構，大舉進入一般企業應用。

目前高效能領域最常使用的網路規格有這4種：InfiniBand、乙太網路、Omni-Path、以及SlingShot。前兩種在TOP500超級電腦的使用比例，合計佔了8成以上，競爭主要也在這者者間展開。

其他介面方面，原本由Intel主導發展的Omni-Path，在2017到2018年之間聲勢看漲，但隨著Intel在2019年中宣布不再繼續發展這套網路技術，2020年分拆相關業務後，導致Omni-Path聲勢大跌。至於SlingShot則是Cray專屬規格，現在屬於HPE Cray，在最頂級領域頗有市場，在TOP100超級電腦使用比重僅次於InfiniBand，但在TOP500比重只與Omni-Path相當，因此，兩種都算是非主流技術。

由於InfiniBand與乙太網路是高效能運算最普遍使用的網路規格，所以當AI應用帶來高效能網路需求擴散後，最常被用戶選用的網路架構也是這兩種。

InfiniBand的優勢在於更高的效率（延遲、頻寬）與可靠性，而乙太網路則以成本取勝，2者在TOP500的整體比重不相上下，但是在頂端的TOP100超級電腦中，InfiniBand用戶數量有壓倒性優勢，這也反映出兩者的效能／成本特性——以效能為最優先考量的頂級用戶，大多選擇InfiniBand；對成本較敏感的用戶，則傾向乙太網路。

過去6、7年以來，乙太網路憑藉較迅速的頻寬增長，已逆轉了頻寬不如InfiniBand的長期劣勢，當200/400GbE與800GbE推出時，InfiniBand還分別停留在100Gb EDR與200Gb HDR。隨著InfiniBand在2022與2024年接連推出400Gb NDR與800Gb XDR，如今已趕上乙太網路的頻寬。

乙太網路方面，除了繼續發展頻寬更高的新規格，如1.6TbE，也從改善協定效率方面著手。由多家一線大廠組成的超級乙太網路聯盟（Ultra Ethernet Consortium，UEC），正在發展改進的乙太網路傳輸堆疊架構，以求改善乙太網路在AI與高效能運算領域的效能表現。

UEC的具體工作是制定新的超級乙太網路傳輸（Ultra Ethernet Transport，UET）協定，取代既有的RoCE協定。

RoCE可說是把InfiniBand的RDMA傳輸架構移植到IP與乙太網路而成，兼具RDMA的低延遲與乙太網路的低成本特色，但是，RDMA在壅塞控制、負載平衡等方面，仍有一系列不足。而UET協定除了透過新的傳輸層來改善雍塞管理，也將改進延遲、安全性與多供應商支援的API，這些特性顯然都是針對InfiniBand而來，同時又沒有後者被單一供應商（Nvidia/Mellanox）控制的問題。

UEC預計第1版UET協定將於今年第3季發布，第1批支援的產品很快就會跟著問世，屆時應該會刺激InfiniBand出現新的發展。

陷入困境的老牌儲存介面

過去20年，長期統治儲存I/O規格的FC與SAS等2種介面，最近這幾年在新興技術的衝擊下，都出現發展遲滯的困境，不僅新規格的產品支援應用緩慢，下一代規格也陷入難產。

這種情況在今年終於有轉機，支援FC與SAS最新規格的產品顯著增加，下一代規格也有新進展。

乙太網路技術的迅速進步，大幅侵蝕FC介面在儲存區域網路（SAN）的版圖。乙太網路憑藉頻寬的迅速增長，逐漸抵銷FC原有的低延遲與傳輸效率優勢，反倒突顯部署與管理成本上的長處——採用乙太網路來建構儲存區域網路，儲存區域網路（SAN）與一般區域網路（LAN）的部署與管理將能統一，不像FC需要獨立的設備與管理架構。

因此，這也導致新一代FC規格的應用推廣遭遇困難。目前最新的FC規格，是2018年底便已制定完成第7代FC，也就是64Gb FC，依照過去FC介面典型應用發展過程，第一批支援64Gb FC的SAN網路設備，應該在2020年前後就會問世，到了2021到2022年間，主流儲存設備也會開始支援。

但實際上，64Gb FC網路設備（交換器、導向器與HBA板卡）雖然大致按期問世，但是，在儲存設備方面，直到2023年為止，仍沒獲得主流儲存產品的普遍支援。在一線儲存系統大廠中，只有Pure Storage在2021年底宣布支援64Gb FC。

這樣的情況，也影響到下一代FC規格的發展。依照早期的規畫，第8代FC，也就是128Gb FC應該在2021年推出，但實際上，到了2024年中的今日，128Gb FC規格仍未能問世，這也破壞原本FC介面規格4至5年便更新一代的週期。

在SAS介面方面，也遭遇類似的困境。目前受到普遍應用的SAS-3，在2013年完成規格制訂後，很快就在2015年形成完整的應用環境。

到了新一代的SAS-4，雖然早在2017年便宣布完成規格制定，但此時遭遇了NVMe的競爭與衝擊，以致普及陷入困難。

隨著固態儲存的持續發展，高效能取向的儲存應用已全面轉向NVMe介面；而對於非效能取向的中、低階儲存裝置來說，既有SAS-3便能滿足要求，無須升級到SAS-4。這導致SAS-4陷入高不成、低不就的窘境，儲存廠商們也缺乏支援的誘因。直到距SAS-4發布相隔的6年多後（2024年初），支援的產品仍十分有限。只有少數幾款SSD， HBA卡與RAID卡。

FC與SAS應用的轉機

就在我們以為FC與SAS介面似乎被市場主流遺忘與放棄時，過去半年多以來，出現新的轉機。

在FC方面，下一代的128Gb FC依舊了無聲息，但64Gb FC的應用有新的進展。一線儲存大廠中，自Pure Storage在2021年宣布支援64Gb FC後，接下來兩年多都未見到其餘廠商跟進。不過，到了2023下半年，HPE為Alletra MP儲存陣列新增64Gb FC選項。2024年初，又陸續有大廠在新推出的主力產品線中支援64Gb FC，包括NetApp的AFF A70、A90與A1K，Hitachi Vantara的VSP One Block，還有IBM的FlashSystem 5300等。這也意味著64Gb FC開始進入主流儲存產品，延宕許久的64Gb FC儲存應用，終於有了起色。

在SAS方面，我們在今年Computex的廠商展區，首次見到支援SAS-4的主機端與外接儲存設備，包括：技嘉有幾款新推出的伺服器產品，註明熱抽換磁碟槽規格同時支援NVMe/SATA/SAS-4介面，可直接安裝SAS-4介面磁碟，營邦展出基於SAS-4的4U高密度擴充儲存櫃。這也讓SAS-4的產品應用，終於走出過去4年來止步於個別元件（SSD與卡板等）的困境，開始進入完整系統層級。

在規格發展方面，新一代SAS規格也有具體消息傳出。依照負責SAS規格制定的STA協會原有路線圖，24G SAS後的下一代，理應是頻寬加倍的48G SAS，然而目前情況已有變化。STA在去年底透露，下一代將轉向發展既有24G SAS的強化版本：24G+ SAS。STA調整路線的目的，是迴避與NVMe的競爭，使SAS走向與NVMe不同的應用路線，將NVMe視為針對快閃儲存裝置最佳化的介面，SAS介面則是主攻機械式硬碟最佳化。

因而下一代的24G+ SAS不再追求頻寬的增長，而是沿用現有24G SAS實體層，搭配強化傳輸協定的上層規範。預定24G+ SAS規格將在2024年中以後完成制定，在2025到2026年左右進入終端用戶產品。

 InfiniBand的頻寬發展路線 
InfiniBand相較於乙太網路，擁有低延遲與高可靠性的優勢之餘，過去也擁有頻寬優勢，但自200/400GbE推出後，InfiniBand的最大頻寬就被乙太網路超越。目前最新的800Gb XDR已趕上800GbE規格，接著還預計在2027與2030年推出1600Gb GDR與3200Gb LDR。圖片來源／InfiniBand Trade Association

 改弦易轍的SAS介面發展路線 
為了迴避與NVMe的競爭，STA去年宣布放棄每世代都提高一倍傳輸速率的傳統規畫，以基於現有24G規格，強化安全性與可靠性的24G+ SAS，替代原本做為下一代規格的48G SAS。圖片來源／SCSI Trade Association

 更多關於I/O規格更新潮的系列報導