![](https://s4.itho.me/sites/default/files/1193-feng_mian_p4p5-960-jpg.jpg)
自從作為伺服器的I/O介面骨幹的PCIe,於4、5年前全面邁入PCIe 4.0世代後,緩解了長期以來伺服器I/O架構的不均衡問題。儘管目前PCIe 4.0已能滿足絕大多數周邊裝置的傳輸需求,但AI應用興起,以及GPU配置的普及,又帶來更大的資料傳輸流量要求,進而也促使PCIe 5.0進入普及階段,以及新一代PCIe 6.0規格的發展,同時也在PCIe之外,催生出GPU專用的超高速傳輸介面規格,這也讓伺服器內部I/O架構,有了大不同於以往的面貌。
PCIe 5.0為下一世代需求做好準備
在當前的伺服器I/O架構中,PCIe可說是最基礎的I/O介面,幾乎所有周邊裝置或其他I/O介面,都是直接或間接透過PCIe的介接,來與運算核心連結。這也意味著,PCIe介面規格的更新,對伺服器整個I/O架構的發展,也是牽一髮而動全身,勢必會影響所有周邊裝置與其他I/O介面的發展。
過去兩年來,PCIe介面的發展,正處於PCIe 4.0到5.0的轉換過渡期。事實上,PCIe 4.0普及的時間還不過數年時間,2017年規格制定完成,2020到2021年間才為主機平臺與周邊裝置全面支援。然而短短2、3年後,主機平臺便開始轉向支援PCIe 5.0。不過,從PCIe 4.0向5.0的過渡,其中的意涵並不同於幾年前從PCIe 3.0到4.0的交替。
當初是因為PCI-SIG組織的PCIe 4.0規格制定延宕,以及Intel平臺對PCIe 4.0的支援過晚,才導致主流規格在PCIe 3.0停滯過久,成為伺服器I/O架構的瓶頸,不僅影響到NVMe介面的大規模應用、SSD效能的提升,以及多GPU協調運作的效率,最終還促使Nvidia自行發展GPU專用傳輸介面。
而就今日的應用情境來說,由於GPU的直連傳輸已轉向採用專用介面,不再依靠PCIe,對於其餘的伺服器I/O傳輸應用,PCIe 4.0仍能滿足絕大多數的需求,只有一些要求極端傳輸效能的應用或周邊,才實際需要PCIe 5.0的頻寬,包括400Gb等級以上的網路卡,要求10GB/s等級以上傳輸速度的高階SSD,以及發展中的CXL共享記憶體技術等。
所以先前從PCIe 3.0到4.0的升級,是「滯後」的升級,目的是要「追趕」實際需求;而現在從PCIe 4.0到5.0的升級,可算是「提前」的升級,「預先」為日後的需求做好準備,以免重蹈過晚替換PCIe 3.0的覆轍。
PCIe 5.0時代正式來臨
PCI-SIG在2019年5月正式發布PCIe 5.0規格後,第一批支援PCIe 5.0的主機與周邊產品,便在2021年下半年到2022年初陸續問世,但直到2023年,市場主流規格仍是PCIe 4.0,只有部分高階主機與SSD產品才支援PCIe 5.0。到了今年,這個情況才有所改變。
觀察PCIe 5.0普及程度的最佳指標,便是每年的Computex展。在去年的Computex,出現了第一批支援PCIe 5.0的主機板與伺服器產品,但多數產品仍只支援PCIe 4.0。到了今年Computex,所有展出主機板與伺服器產品幾乎全都支援PCIe 5.0,也出現不少PCIe 5.0 SSD產品,意味整個應用生態系已基本成形。
邁向PCIe 6.0與7.0
彷彿是要追趕因PCIe 4.0延宕而損失的時光,負責PCIe規格制定的PCI-SIG組織,在PCIe 5.0之後明顯加快了新一代PCIe規格的制定。在發佈PCIe 5.0正是規格過後僅僅2年半,便在2022年1月宣布PCIe 6.0的規格制定完成,接著又在2022年宣布將發展PCIe 7.0,預定2025年完成規格制定。
相較於過去的PCIe規格,PCIe 6.0與7.0引進了重大的技術變革,以4級脈衝調變(PAM4)技術,取代自PCIe 3.0沿用到5.0的不歸零(NRZ)
調變技術,可在相同頻率內承載兩倍資料,幫助PCIe 6.0與7.0實現翻倍的頻寬增長——比起每通道32GT/s的PCIe 5.0,PCIe 6.0與7.0分別提高到64GT/s與128GT/s。
但PAM-4編碼錯誤率也比NRZ高出許多,故需另外結合前向糾錯技術(FEC)來確保資料完整性,然而這又會帶來延遲增加、減少有效頻寬利用率的代價。儘管如此,PAM調變藉由較高的資料承載能力,已成為當前超高速網路傳輸技術普遍使用的信號調變技術,除了PCIe 6.0與7.0外,後面介紹的NVLink等GPU互連通道,以及400Gb等級以上的乙太網路等。
雖然PCI-SIG加快了制定新一代規格的步伐,但在產品應用方面,並不能跟上這樣快的更新頻率。PCI-SIG曾樂觀地預測,最快在2024年初便能見到PCIe 6.0被應用在實際產品上,隨後PCIe 7.0也將在2027年內進入實際應用。但現實並不如PCI-SIG設想的那樣順利,直到已經要進入2024年下半的今日,還尚未有任何採用PCIe 6.0的實際產品進入市場。
迄今PCIe 6.0仍處於產品開發的早期階段,自2022年初正式發布規格後,一直到2023年中,只陸續有廠商發表PCIe 6.0配套的開發測試用設備,以及中介片(Interposer)等元件。實際的PCIe 6.0產品應用,或許要等到2025年以後。
從目前的情況來看,PCIe 6.0的產品應用速度,將會落後於前2代的PCIe 4.0與5.0。以PCIe 4.0來說,在2017年6月正式版規格發布後,在該年年底到2018年初,第一批支援的主機與周邊產品就隨之問世,在PCIe 5.0方面,自規格發布到首批產品問世,則相隔2年左右。至於PCIe 6.0,恐怕會拖到3年以上。
GPU專屬傳輸架構的興起
相較於10年前,當前伺服器內部I/O架構最大的變化,便是出現了GPU專用的直連傳輸通道。以Nvidia為首,隨後AMD與Intel陸續跟進,先後推出搭配自身GPU的互連傳輸技術。
事實上,直到7、8年前,GPU之間也是透過PCIe來相互連接,例如Nvidia最早的多GPU直連技術——GPUDirect P2P,便是讓多個GPU之間透過PCIe介面,直接存取彼此的顯示記憶體。問題在於,對於GPU直連應用來說,2010年代初期當時主流的PCIe 3.0,頻寬早已不敷所需,即便是當時發展中的PCIe 4.0,頻寬也略嫌不足,促使Nvidia決定打造自身專屬的GPU直連傳輸通道技術,成果便是2016年開始正式採用的NVLink技術。
NVLink是Nvidia專屬的GPU點對點直連匯流排技術,可以擺脫PCIe帶來的瓶頸,第1代的NVLink就能提供最大160GB/s的總頻寬,是PCIe 3.0x16(32 GB/s)的5倍以上,相當程度解決GPU相互直連的傳輸頻寬需求,可藉此將多個GPU連結組成一個GPU運算陣列。
由於NVLink的點對點直連傳輸架構,能能為個別GPU提供的傳輸鏈路數量有限,於是Nvidia接著在2017年推出NVSwitch交換器晶片,可以連結2組NVLink,從而構成規模更大的GPU運算陣列。
稍後在2022年,NVLink又對NVLink技術做了重大的擴展,首先是採用新式調變技術、進一步提高頻寬的第4代NVLink與NVSwitch,其次是同步發表2項延伸技術:
一是NVLink C2C,C2C即Chip to Chip之意,可為CPU與CPU,或CPU與GPU,提供900GB/s的雙向直連傳輸頻寬。二是NVLink Switch,這是以NVSwitch為基礎,所衍生出的獨立交換器產品,可將NVLink的連接擴展到機箱之外,提供跨機箱之間的GPU相互直連。
先前的NVLink與NVSwitch,都是提供Scale-Up縱向形式的GPU直連擴展,用於連結單一GPU伺服器節點內的多個GPU。而NVLink Switch提供了Scale-Out橫向形式的GPU直連擴展,可以連結多臺GPU伺服器節點,從而極大幅度地擴張NVLink網域內直連GPU數量。
另一方面,過去利用乙太網路或InfiniBand介接的跨GPU伺服器節點互連,雖然也能串連多臺GPU伺服器,建構出大型GPU運算網路,但節點之間並非GPU直連架構,傳輸效能會受中介網路的制約。而NVLink Switch是以NVLink直連形式實現跨節點互連,能維持NVLink的低延遲與高傳輸效能。
每臺1U尺寸的NVLink Switch機箱,含有2個NVSwitch晶片(一共128個NVLink埠),可提供32個OSFP埠,每個埠含有8個112 Gb傳輸通道。由於NVSwtch與NVLink Switch系出同源,Nvidia目前已統一稱為NVLink Switch。
到2024年為止,NVLink已經發展了5個世代,總頻寬從160 GB/s逐步提高到1800 GB/s,每顆GPU允許的最大鏈結數量也從4個提高到18個。NVLink Switch也已發展到第4代,GPU直連傳輸頻寬從300 GB/s提高到1800 GB/s,允許直連的GPU數量更從16個大幅提高到576個。
AMD與Intel的GPU互連架構
在陸續推出NVLink、NVLink Switch與NVLink C2C之後、Nvidia也完成自身的伺服器I/O架構轉型,運算核心單元完全依靠自身專屬架構互連,至於PCIe,則退居次要角色,只剩下連接網路、儲存等周邊裝置的用途。
這也讓Nvidia徹底擺脫PCIe這類開放規格的制肘,可以透過自身專屬I/O架構,連結大量的GPU,建構出超大規模、超高密度的GPU運算環境,這也是10年前所無法想像的。因而NVLink等專屬GPU互連I/O技術,也就成為維持Nvidia在GPU領域「霸業」的護城河之一。
而NVLink的成功,自然也促使競爭對手AMD與Intel跟進,推出類似的GPU互連I/O技術。
AMD的GPU互連I/O技術,是由Infinity Fabric晶片互連匯流排延伸發展而來。
2017年推出的第1代Infinity Fabric,最初是搭配當時新推出的第1代Zen架構處理器,作為CCX處理器核心模組間的互連通道,類似傳統chiplets之間Hypertransport匯流排的升級版本,AMD又稱為全域記憶體互連介面(xGMI)。
接著,跟隨第2代Zen架構處理器一同發表的第2代Infinity Fabric,不僅提高傳輸頻寬,並新增GPU與GPU互連功能,具備類似Nvidia NVLink的功能,AMD也將應用這種I/O技術的處理器架構,命名為Infinity Architecture。
然後,便是2020年初發布的第3代Infinity Fabric,在先前的CPU互連與GPU互連功能外,增加CPU與GPU互連的能力,同時也提高了傳輸頻寬。最新的是,2023年與Instinct MI300 GPU平臺一同發表的第4代Infinity Fabric,除了進一步提高頻寬,還擴展了連接能力,可為GPU、CPU、FPGA、快取記憶體,甚至第3方晶片組提供高速互連通道。
針對跨GPU伺服器節點的互連,AMD的方案則是透過RDMA乙太網路,來介接Infinity Fabric節點,但這屬於傳統的跨節點網路互連,節點之間須透過乙太網路中介,與Nvidia利用NVLink Switch實現跨節點GPU直連相比,有著本質上的差異。
至於Intel的GPU互連I/O技術,則是2019年底發表Xe GPU架構時,所提及的Xe Link互連架構,後來在2022年底跟著Data Center Max系列GPU,即代號Ponte Vecchio的GPU一同發表。Xe Link可為Max系列GPU卡提供多卡串聯,或是為OAM子板模組上的GPU提供內部互連。
對於跨伺服器節點的互連,Intel則提供基於直連銅纜的Xe Link Glueless,以及基於InfiniBand網路等2種方案,前者可連結64組OAM模組,後者則可連結512組OAM模組。但這2種互連方式,也是屬於傳統的跨節點網路中介互連,不同於Nvidia的跨節點GPU直連。
除了自身發展的Xe Link互連架構,Intel另外在2019年透過併購Habana Labs,而取得後者在Gaudi系列AI加速器上,所應用的整合式乙太網路互連技術,利用整合在晶片上的10或24個100GbE埠,可透過低成本的乙太網路,實現從內到外的高頻寬GPU直連。
GPU I/O架構的競爭
包括Nvidia的NVLink,AMD的Infinity Fabric與Intel的Xe Link,均提供單一節點內的多GPU互連,以及跨多節點的GPU互連,儘管功能涵蓋面相當,但在傳輸效能與跨節點連結能力方面,存在相當大的差距。
以NVLink第4代與第5代為例,每個傳輸鏈結(Link)都是由2條信號傳輸通道(lane)構成,每條通道分別可提供100Gb/s與200Gb/s的頻寬,所以每個鏈結擁有雙向50 GB/s與100 GB/s的頻寬(25+25與50+50)。而每個GPU則擁有最多18個鏈結,理論總頻寬達到900 GB/s與1800 GB/s。
而AMD用於搭配MI300X GPU的最新Infinity Fabric第4代,每個GPU允許最多7個傳輸鏈結,每個鏈結由16個傳輸通道構成,每個傳輸通道32 Gb/s頻寬,每個傳輸連結有128 GB/s雙向頻寬,理論最大總頻寬為896 GB/s。
至於Intel Xe Link,每個鏈結有單向26.5 GB/s頻寬,雙向53 GB/s頻寬,Xe Link可支援最大8組Xe GPU單元(Xe HPC Stack)互連,每組Xe GPU單元的理論最大總頻寬為371GB/s。
單就傳輸效能規格來看,AMD Infinity Fabric與Intel Xe Link的單一傳輸鏈結頻寬,並不比NVLink差,但每個GPU允許的傳輸鏈結數量上限卻遠少於NVLink,因而總頻寬有著數倍的落差,只相當於1、2個世代以前的NVLink規格。
而在跨節點互連方面,Nvidia可透過Nvidia NVLink Switch,實現跨節點NVLink直連,從節點內部到外部都是NVLink直連到底。而AMD Infinity Fabric與Intel Xe Link,都只能提供個別節點內部的GPU直連,至於跨到外部的連結,都需透過乙太網路或InfiniBand的介接,在效能與延遲上與Nvidia有著根本的差距。
傳輸效能與跨節點能力的差異,也制約了AMD與Intel GPU實際應用的效能發揮。
AMD與Intel的個別GPU效能規格,往往不亞於Nvidia的GPU,部分特性甚至猶有過之,然而現實環境大多需要多GPU協同運作,而AMD與Intel的GPU直連I/O架構,在多個GPU互連的環境下,就會暴露總頻寬遠不如Nvidia的問題,連結的GPU數量越多,差距越顯著。而且AMD與Intel都缺乏Nvidia NVLink Switch這一層擴展介接技術,當互連的GPU數量超過8個時,就必須透過外部網路介接來實現跨節點互連,因而也會惡化傳輸頻寬與延遲表現。
相較下,Intel透過併購取得的Gaudi系列AI加速器,I/O架構採取基於乙太網路的低成本互連路線,反而更有競爭力,不僅成本相對較低,也便於利用乙太網路實現從節點內部到外部的直連,但缺點是延遲應該明顯不如NVLink。
最新的Gaudi 3在晶片內整合多達24個200GbE埠,其中21個埠用於節點內OAM模組互連,可為每顆加速器晶片提供最大1200GB/s的頻寬,勝過NVLink第4代,僅次於NVLink最新的第5代。另外3個200GbE埠則用於Scale-Out外部互連,轉接到基板(Baseboard)上的800G OSFP埠,用於連接其他節點。
通用GPU I/O架構的嘗試
比起GPU晶片本身的規格與效能特性,或是搭配GPU的CUDA程式開發框架,Nvidia的I/O架構,其實才是競爭對手更難以跨越的障礙。
無論AMD或Intel,顯然單打獨鬥都不會是Nvidia的對手,唯一辦法是團結求存,於是以AMD與Intel這兩大晶片廠商為首,加上Broadcom、Cisco兩大網通廠商,還有Google、HPE、Meta與微軟,一共8家大廠今年5月共同宣布,將合作發展稱作UALink(Ultra Accelerator Link)的加速器晶片互連I/O架構,企圖以此抗衡Nvidia的NVLink。
目前UALink規格仍在制定中,預定2025年發表1.0版規範,依照目前傳出的消息,一種可能的框架是以Infinity Fabric結合乙太網路,分別構成新協定的上層與底層,藉此實現跨節點內、外的GPU直連架構。
相比於NVLink,UALink最吸引人之處,是可藉此打破Nvidia的規格壟斷,以及多供應商參與帶來的通用性與成本效益。問題在於,Nvidia並不會停下腳步等待競爭對手,依過去經驗來看,Nvidia幾乎每隔2年就會更新一代NVLink規格,待UALink進入實用階段,NVLink屆時也可望進化1到2個世代,從而持續保持優勢。在UALink能發揮多供應商參與的群聚效應之前,NVLink可望仍能長期維持優勢。
PCIe與NVLink的傳輸效能發展過程對照
我們將PCIe與NVLink等兩種傳輸介面,各個世代的傳輸效能規格,依發表時間整理成圖表,其中PCIe介面的傳輸頻寬以16 lane規格雙向頻寬為代表,NVLink則以單一GPU理論上所能獲得的總頻寬為基準。
從此圖可看出,相較於同世代PCIe,NVLink一般都擁有5倍左右的傳輸頻寬優勢。
除了頻寬優勢,比起PCIe這種必須適應各式各樣周邊裝置與應用環境的開放性業界標準規格,NVLink是Nvidia專為自身GPU直連傳輸需求,量身打造的專屬規格,享有規格封閉與完全自主的優勢,因此更新速度也十分頻繁與穩定,近來都是每兩年更新一代。
擺脫PCIe的制肘:Nvidia的I/O架構轉型
下圖為NVLink問世以前,典型的GPU對GPU,與GPU對CPU互連架構,GPU與GPU或CPU之間,都是透過PCIe介面互連,但PCIe同時是伺服器內部眾多周邊設備共同使用的傳輸通道,因而PCIe的效能與資源也就成為制約GPU I/O效能的瓶頸。這也促使Nvidia另行發展NVLink傳輸架構,以求擺脫PCIe的制肘。圖片來源/WikiChip
下圖為Nvidia去年發表的Grace Hopper超級晶片I/O架構,在GPU之間與GPU到CPU之間,分別採用NVLink與NVLink C2C介面互連,PCIe只作為次要角色、用於CPU對外連接,只配置了4組16通道的PCIe 5.0介面。圖片來源/Nvidia
熱門新聞
2024-09-06
2024-09-06
2024-09-06
2024-09-06
2024-09-06
2024-09-06
2024-09-06
2024-09-06