在2019年3月,Nvidia宣布併購網路晶片與設備廠商Mellanox,到了2020年4月,Nvidia完成這家公司的併購,然而,在這段期間,Mellanox也正好發表新一代SmartNIC產品ConnectX-6 Dx,以及BlueField-2 IPU,例如,在2019年8月底的VMware全球用戶大會VMworld期間,首度揭露這兩款新產品的消息,而我們也在11月發布了產品快報的介紹,瞭解到BlueField-2整合了ConnectX-6 Dx,搭配Arm v8架構的中央處理器核心A72,可提供200Gb/s的網路傳輸能力;隔年2月的RSA資安大會,Mellanox宣布ConnectX-6 Dx開始出貨,並預告BlueField-2 IPU即將上市。

而隨著Nvidia在2020年完成Mellanox併購,針對BlueField系列產品,提出了不同的戰略規畫,以資料處理器(Data Processing Unit,DPU)做為新的定位,而使得原本僅主打SmartNIC應用面向的BlueField,走出一條更寬闊的路,甚至能與CPU、GPU相提並論,成為Nvidia問鼎資料中心領域的第二大關鍵技術,而同年9月宣布併購Arm這家知名的半導體設計與軟體公司,後續的發展更是備受各界關注,例如,預計於2023年年初問世的Grace,將是Nvidia第一個採用Arm架構的資料中心CPU,帶來第三大基礎運算技術,使其成為可同時提供3種晶片的公司。

提出DPU新概念,鼓吹DPU是企業資料中心架構的必需品

在2020年5月舉行的GTC大會上,Nvidia共同創辦人暨執行長黃仁勳(Jensen Huang)在主題演講的第一段,也特別拿出BlueField-2,強調這款產品是全世界最先進的可程式化SmartNIC,終將成為所謂的資料處理器(DPU),承擔資料中心數據的移動與處理,並且與負責通用運算的CPU,以及專攻加速運算的GPU形成三足鼎立的態勢,共同支撐整個運算應用市場,實現資料中心規模運算(Datacenter-Scale Computing)的願景。

當時,Nvidia還宣布將推出整合SmartNIC與GPU的PCIe介面卡,稱為EGX A100,號稱是第一款基於Nvidia Ampere架構的邊緣AI產品,而這裡搭配的SmartNIC是Mellanox ConnectX-6 Dx,預計在2020年底上市。

全世界表明:DPU的用途不只是分攤伺服器的網路連線處理,也能承擔伺服器虛擬化平臺的管理、資安、儲存處理

到了9月VMworld大會,VMware與Nvidia宣布新的合作計畫Project Monterey,預計會結合混合雲軟體平臺VMware Cloud Foundation,以及Nvidia BlueField-2 DPU這類SmartNIC技術,建構新一代的IT基礎架構,以因應人工智慧、機器學習、高吞吐量、以資料為中心等各種應用的需求。

在10月Nvidia舉行的GTC大會,他們正式主推DPU,並且提出「資料中心基礎架構整合至單晶片(Data Center Infrastructure-on-a-Chip)」的比喻──或許是借鏡系統單晶片System on a Chip(SoC)的概念,來為相關產品定調。

該如何發揮這項晶片技術的長處?Nvidia提出了一套DPU加速的伺服器架構,由於DPU本身內含Arm運算核心,也就是同時具備CPU的運算能力,於是,他們打算將原本總是由x86中央處理器執行的伺服器虛擬化平臺底層,像是軟體定義儲存、資安、網路,以及集中管理等IT基礎架構的工作負載,轉由DPU來承擔。

同時,Nvidia也宣布擴充軟硬體的產品──在PCIe介面卡的部分,不只是先前發表的BlueField-2 DPU,還將推出結合BlueField-2與Ampere架構GPU的BlueField-2X DPU,以及可協助開發DPU加速應用的軟體開發套件DOCA(Data Center Infrastructure-on-a-Chip Architecture)。

就BlueField-2 DPU而言,Nvidia除了公布運算方面的規格,以及網路加密連線、視訊串流與儲存I/O等多種應用的技術與存取效能,更特別的是,他們強調,單張DPU足以承擔相當於125顆處理器核心的資料中心服務,而基於這樣的效能,可分攤伺服器一部分的工作負載,而能讓伺服器保留更多處理器核心,執行更廣泛的企業級應用程式。

至於另一套產品DOCA SDK,也是Nvidia推動DPU後續發展所不可或缺的要角,因為有了它,開發者就能設計DPU加速的IT基礎架構應用系統。

此外,他們公布了DPU未來三年的發展藍圖。黃仁勳表示,BlueField-2已提供樣品試用,預計在2021年會在主要伺服器廠商推出的新系統搭配使用,而BlueField-2X正在開發當中,也將在2021年推出;下一代的DPU產品BlueField-3,可提供400Gb/s的傳輸能力,Nvidia已完成開發,它與BlueField-3X可望於2022年發表;至於下下一代的DPU產品BlueField-4,架構將如同BlueField-2X,網路傳輸速度同樣可達400 Gb/s,Nvidia正在全力進行開發,將於2023年發表。

在Nvidia主推的邊緣運算AI平臺EGX當中,也將BlueField-2 DPU納入,與Nvidia Ampere架構GPU一起協同合作,透過這樣的融合加速解決方案(converged accelerators),無論是在伺服器搭配DPU與GPU,或是採用BlueField-2X這樣的整合型產品,均可用於建構安全、具備加速運算能力的資料中心環境。

為何會有兼具安全與加速特性的作用?由於BlueField-2 DPU也內含Arm架構的中央處理器核心,Nvidia表示,這些運算資源可建立信任區(trusted enclave),可用來保護執行在GPU的AI推論模型。

至於採用Nvidia DPU的業者,分為伺服器製造商、軟體基礎架構廠商等兩類。前者包括:華碩、Atos、戴爾科技集團、富士通、技嘉科技、新華三(H3C)、浪潮、聯想、廣達電腦/雲達科技、Supermicro,都計畫將Nvidia DPU整合到他們的企業級伺服器產品當中。

軟體廠商的部分,則聚焦在BlueField-2 DPU與DOCA的支援,包括:Canonical的Ubuntu Linux、Red Hat的Red Hat Enterprise Linux與Red Hat OpenShift,VMware的VMware Cloud Foundation,而以網路防火牆軟體著稱的老牌資安廠商Check Point,也正在將BlueField-2 DPU整合他們的技術當中。

Nvidia DPU終於在2021年上場,軟硬體產品搭配與支援的市場生態系也正式成軍

而在2021年4月的GTC大會,Nvidia宣布BlueField-2開始供貨,用戶可選購搭配2個100Gb乙太網路或InfiniBand網路埠的PCIe介面卡,而且搭配使用的軟體開發套件DOCA SDK 1.0,也開放下載,當中包含多種元件:可用來建立、編譯與調校BlueField DPU應用程式的執行時期環境,可用來供給、更新、監控大量DPU的調度指揮工具,相關的程式庫、API,以及日漸增多的應用程式,像是深度封包檢測與負載平衡。

Nvidia也趁機揭露更多關於BlueField-3的消息,例如,2022年第1季預計提供樣品試用,而在技術規格的部分,將搭配16顆Arm A75中央處理器核心,支援PCIe 5.0的I/O介面,以及提供時間同步的資料中心加速功能。

而在效能增長幅度上,BlueField-3的加速運算效能將是BlueField-2的10倍,加密處理效能可提升至4倍。

建構協力廠商生態系,產品認證計畫涵蓋至DPU伺服器

環繞著DPU的市場生態系系統,也於此時正式亮相。以整合搭配DPU出貨的伺服器廠商而言,有戴爾科技集團、浪潮、聯想、Supermicro響應;在雲端服務供應商的部分,則有中國的公有雲業者,像是百度、京東(JD.com)、優刻得(Ucloud)採用BlueField DPU加速工作負載;

在軟體定義IT基礎架構與混合雲平臺的領域,有Canonical、Red Hat、VMware等公司,除了去年都已表態計畫支援BlueField-3,今年則表示將支援BlueField-3;

資安廠商的部分,除了Check Point,新增了Fortinet、Guardicore、Palo Alto Networks;

在此同時,DPU生態系統也加入儲存應用廠商,有DDN、NetApp及 WekaIO,以及網路應用的邊緣平臺廠商,有Cloudflare、F5 與 Juniper Networks。

到了台北國際電腦展期間,Nvidia宣布,華碩、戴爾科技集團、技嘉科技、雲達科技與Supermicro等伺服器廠商,都將推出搭配BlueField-2 DPU的新款伺服器,因此,這類提供DPU加速的伺服器今年可望問世。

此時,他們也宣布Nvidia認證計畫將擴大涵蓋的產品範圍:除了原本著重的資料中心與邊緣運算伺服器GPU,也就是HGX和EGX,也會延伸至DPU伺服器、Arm伺服器。

Nvidia認證計畫正式納入DPU伺服器的時間,預計是今年第三季。而在他們現今開始認證DPU伺服器之後,已有幾個廠商將產品提交給Nvidia進行審核。

鼓勵DPU應用程式開發,紅帽放送RHEL與OpenShift訂閱服務利多

關於作業系統軟體對於BlueField DPU的支援,除了VMware持續與Nvidia密切合作,Red Hat也有更明確表示:為了鼓勵更多人以紅帽的系統平臺來開發DPU應用程式,他們將免費提供Red Hat Enterprise Linux(RHEL)與OpenShift的訂閱服務。

而在4月Nvidia GTC大會期間,紅帽也針對RHEL與OpenShift,揭露BlueField-2 DPU網路流量卸載能力的實測結果,這方面的資訊值得參考。

以RHEL而言,他們建置了兩臺伺服器,都搭配100Gb 網路埠的BlueField-2 DPU,彼此對接,在網路功能虛擬化的使用場景進行加密連線,若不啟用BlueField-2的卸載功能,網路吞吐量只能達到47 Gbps,而且會使用到60顆以上處理器核心;相反地,吞吐量可達到100 Gbps,處理器用量少於10顆核心。

在OpenShift的部分,紅帽將BlueField-2整合到OpenShift叢集,執行OVN-Kubernetes的pod,並將大部分的網路功能交給DPU處理,測試pod對pod的東西向傳輸流量,同樣是25Gbps的吞吐量,啟用DPU的卸載功能後,可將伺服器處理器核心用量減低70%。

將DPU導入DGX A100與DGX SuperPOD,建構支援多租戶隔離架構的雲端原生超級電腦

在此同時,Nvidia在自家產品的搭配上,當然也對DPU內舉不避親。他們推出新一代的AI整合應用設備叢集系統DGX SuperPOD,裡面就會搭配BlueField-2。他們強調這代DGX SuperPOD將兼具雲端原生,以及支援多租戶存取等特性,預計將於今年第2季開始供貨。

在單套DGX SuperPOD系統當中,每臺DGX A100節點將會內建BlueField-2 DPU,屆時就能以此來卸載、加速,並且能根據不同使用者與其擁有的資料來進行彼此隔離──區隔使用者網路流量、所使用的網路防火牆,並讓儲存系統提供多租戶的存取,從而建置出安全的共用AI基礎架構,且不會衝擊DGX SuperPOD整體的運算與存取效能。

值得注意的是,Nvidia在這裡所謂的雲端原生,應該不是專指容器與Kubernetes的應用,而是指提供裸機等級的處理效能,關鍵在於InfiniBand、DPU、DOCA、Magnum IO等四大技術。事實上,現行DGX SuperPOD就已經採用200 Gb/s 的InfiniBand超高速網路,來進行傳輸,但新一代SuperPOD將搭配BlueField-2,以及專為DPU使用而設計的DOCA SDK之後,能把原本由伺服器端執行的管理、隔離、監控,交由DPU來處理,如此一來,也能將軟體定義資料中心網路、儲存、資安、管理服務,順勢帶進DGX SuperPOD這樣的AI基礎架構。

除此之外,BlueField-2本身還可協助企業掌管SuperPOD的多租戶共用架構,確保運算資源能以乾淨、不殘留的方式,提供給新的租戶──將乾淨的開機映像提供給已排程進駐的新租戶使用,能建立一個完全乾淨、信任重建的虛擬化儲存區,而且可存取經批准使用的儲存區。

BlueField-2也能運用Magnum IO這套SDK,來處理各種層面的I/O,像是儲存、網路、多GPU、多節點之間的溝通,提供平行、非同步、階層、遙測、抽象化等處理方式,當中包含了工具與組態,可協助調校應用程式、消弭I/O瓶頸。

DPU拓展不同產業的應用,可擴及資安與汽車製造領域

支援資料中心規模運算,以及AI基礎架構之餘,Nvidia在2021年4月GTC大會上,還宣布BlueField DPU的多種產業應用。

首先是資安產業,Nvidia發表了Morpheus應用程式框架,希望能以AI提升資安威脅的偵測與預防能力,當中就可以搭配BlueField DPU使用,讓每一臺裝上BlueField DPU的伺服器運算節點,都能同時兼任網路防禦的感測器,讓企業能以網路全速連線的狀態來分析每一個封包。

而這項軟硬體搭配,除了包含Nvidia的GPU與AI軟體開發套件,以及Mellanox的SmartNIC/DPU技術,還有2020年5月併購的Cumulus Networks,該公司是以提供開放式網路作業系統Cumulus Linux而聞名,Morpheus可運用Cumulus Networks旗下的另一款網路管理系統NetQ,搭配BlueField DPU一起使用。

接下來是汽車產業,Nvidia近幾年來持續發展用於自動駕駛車的系統單晶片,像是2018年推出的Parker,2020年的Xavier,接下來即將登場的Orin,以壯大他們的車用平臺Nvidia Drive。

到了今年4月GTC大會,Nvidia宣布,下一代的Atlan即將於2024年亮相,運算能力可望突破1,000 TOPS,而且當中將整合BlueField DPU,可因此獲得額外的進階網路、儲存、資安服務,在自動駕駛車輛設備上,支援複雜的運算與AI工作負載。

除了可善用DOCA這樣可程式化的卸載與運算能力,他們特別強調,BlueField DPU具有安全隔離區,可預防資料外洩與網路攻擊,能讓Atlan在自動駕駛車輛裡面,同時、安全地執行大量的AI應用。

與Arm發展相互呼應,雙方將共同推動更多伺服器應用

在2020年9月Nvidia宣布併購Arm的消息之後,10月GTC大會期間,他們表示,將把GPU與DPU加速技術,帶入Arm的高效能運算、雲、邊緣、個人電腦的生態系,提供人工智慧、高效能運算、圖形處理等用途的軟體開發套件。

回顧過去,近期Nvidia推出的多款產品,都有Arm的身影,像是Jetson單板電腦、Nvidia Drive系統單晶片,而源自Mellanox的BlueField DPU,也內含Arm處理器核心。

當時,他們也揭露正在與OEM廠商合作,推動Arm伺服器平臺的發展,而這當中也涉及BlueField DPU的搭配。

例如,安培運算(Ampere Computing)公司與Nvidia合作,希望將他們發展的伺服器平臺Mt. Jade延伸至雲端遊戲應用領域,而當中的伺服器將配備2顆80核心的Arm系統單晶片、4張Nvidia T4 GPU,以及1張BlueField-2 DPU,可同時支撐128個遊戲玩家的串流連線使用──以5G智慧型手機連至Android-in-Cloud雲端服務。

Nvidia除了提供GPU與DPU,也設法將相關程式碼移植到Arm平臺,針對Arm伺服器開發新的工具,協助實現雲端遊戲的編碼、渲染、串流等處理的最佳化,並以此提供Arm伺服器廠商,像是技嘉科技、浪潮與緯穎。

到了2021年GTC大會,Nvidia預告他們將推出的3款晶片都將採用Arm運算技術,像是:Nvidia第一顆資料中心等級中央處理器Grace,裡面就是基於Arm的處理器核心而成;下一代資料處理器BlueField-3,將搭配更多顆Arm處理器核心;最新款車用晶片Atlan,預計搭配Grace與BlueField。

值此同時,Nvidia也發表一款Arm HPC開發者套件,支援節能型超級電腦與資料中心環境下的科學運算處理,預計在今年第三季開始供貨。而這個套件是由那些軟硬體組成?硬體的部分,是一款技嘉科技的Arm伺服器G242-P32,裡面包含了1顆Ampere Computing 公司的80核心Altra處理器、2張Nvidia A100 GPU加速卡,以及2張BlueField-2 DPU;軟體的部分,則是Nvidia HPC SDK,整合了多個編譯器、程式庫、工具,能讓工程師、科學家、開發人員在GPU加速的Arm運算系統當中,得以建立高效能運算與人工智慧應用程式,以及進行相關的轉移。值得注意的是,這套軟體開發套件是在2020年5月發布,可支援的運算與作業系統環境,並不僅止於Arm伺服器(Linux),還包括x64(Linux與Windows)、OpenPower(Linux)。

到了6月的台北國際電腦展期間,如前所述,Nvidia宣布擴大產品認證計畫的消息,未來用戶可查閱通過這項檢驗的DPU伺服器廠牌與機型,他們也預告,2022年也將Arm伺服器納入Nvidia產品認證計畫,屆時用戶能查詢搭配Ampere架構GPU或BlueField-2 DPU的Arm伺服器。

融合式加速卡將專攻5G環境下的AI應用

而除了BlueField之外,Nvidia在4月GTC大會期間,也發表了一款融合式加速卡,稱為BlueField-2 A100,裡面包含了BlueField-2 DPU與Nvidia A100 GPU,而在軟體搭配的部分,主要是Nvidia用於5G vRAN加速場域的軟體開發套件Aerial,以這樣的軟硬體組合,協同富士通、 Google Cloud、Mavenir、Radisys、Wind River等廠商,共同建構一套名為AI-on-5G的平臺,提供5T-for-5G(Time-Triggered Transmission Technology for Telco)的解決方案。

BlueField-2 A100的出現,也讓我們想到2020年5月提到的EGX A100,以及10月介紹的BlueField-2X,這類融合SmartNIC與GPU的產品,為何沒有相關消息,也沒出現在今年GTC大會主題演講展示的DPU發展藍圖?甚至在黃仁勳介紹EGX平臺的簡報畫面中,還出現一款名為Aerial A100的加速卡?

對此,我們詢問Nvidia,他們表示:「Bluefield-2 A100即是Aerial A100。另外,為了讓發展藍圖更清楚,我們移除了 BlueField-2X 系列產品,但仍持續提供聚合卡。例如,Jensen宣布用於EGX的BlueField-A100聚合接合器。」

產品資訊

Nvidia BlueField-2 DPU
●原廠:Nvidia
●建議售價:廠商未提供
●產品區分:BlueField-2 DPU、BlueField DPU Controller
●網路介面:乙太網路提供雙埠10/25/50/100Gb/s或單埠200Gb/s,接頭為SFP56或QSFP56;InfiniBand提供雙埠EDR / HDR100(100Gb/s)或單埠HDR(200Gb/s) ,接頭為QSFP56
●I/O介面:PCIe 4.0 x8/x16
●搭配處理器與記憶體:8顆Armv8 A72核心,8GB/16GB/32GB DDR4
●外形:乙太網路產品為半高半長、全高半長,InfiniBand產品為全高半長

【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】

 


熱門新聞

Advertisement