【CXL記憶體互連技術應用第1步】CXL記憶體擴充模組即將大爆發

包括CXL在內的記憶體互連技術，實際應用上最基本的兩大訴求，分別是提高伺服器CPU的記憶體資源，以及改善記憶體資源的使用率，對CXL而言，是透過「擴展記憶體」，以及「記憶體池」技術來因應。

而在這2項技術中，擴展記憶體在單機環境便能實現，技術更簡易，應用架構也更為單純，因而發展也更為成熟。相較之下，記憶體池必須仰賴跨伺服器互連，才能實現。

另一方面，在共享記憶體與記憶體池應用環境，擴展記憶體也能派上用場，能為記憶體池提供更多可用的記憶體資源，因而擴展記憶體也能視為CXL應用的起步或初階。

而CXL的擴展記憶體應用，則是透過CXL記憶體擴充模組來實現。

過去2年，有多家廠商發表用於擴展伺服器記憶體的CXL記憶體擴充模組，包括，記憶體大廠如三星、SK Hynix與美光，Astera Labs等新創廠商，同時，還有臺灣的世邁科技（SMART Modular Technologies），將進入實際上市階段。

CXL記憶體擴充模組屬於CXL應用型態的Type 3類型，主要目的是將CXL記憶體擴充模組內含的記憶體資源，提供伺服器CPU使用，也就是由周邊裝置單向提供記憶體資源給CPU。

而伺服器CPU則能藉此擺脫主機板記憶體DIMM插槽的限制，從CXL記憶體擴充卡獲得額外的記憶體頻寬與容量，通常可以額外擴充40、50%以上的記憶體頻寬與容量，效益十分顯著。

CXL記憶體擴充模組的2大主流類型
目前的CXL記憶體擴充模組產品有2大主流類型，一為採用E3.S模組規格，另一為基於AIC附加板卡規格。圖片來源／三星、 Astera Labs

CXL記憶體擴充產品發展歷程

我們所知最早的CXL記憶體擴充模組產品，是三星2021年5月發表的CXL記憶體擴充模組，當時稱作CXL記憶體擴展器（CXL Memory Expander），採用E3.S外形規格，內含128GB容量的DDR5記憶體。

接著在2021年12月舉行的SC 21大會，出現了一波CXL記憶體擴充卡風潮，當時Meta、三星、中國的晶片設計商Montage Technology（瀾起科技），都展出了CXL記憶體擴充模組產品或解決方案。

作為社群網站龍頭的Meta，以及中國廠商瀾起科技，展出的是PCIe卡版形式的CXL記憶體卡。

Meta採用的CXL記憶體卡內建64GB DDR5記憶體，可在Linux系統環境下，透過CXL 2.0協定連結Intel第四代Xeon Scalable處理器（Sapphire Rapids），將CXL記憶體卡內含的記憶體，映射為伺服器主機CPU可以使用的系統記憶體。

Montage Technology展出POC原型，以 FPGA加速卡打造的CXL記憶體擴充卡，內含16 GB記憶體，可支援CXL.io與CXLmem協定，藉此讓CPU存取擴充卡上的記憶體。

至於三星，展出整合CXL記憶體擴充裝置的SAP HANA記憶體資料庫平臺，可以透過CXL本身提供的擴充記憶體，大幅增加SAP HANA記憶體資料庫可用的記憶體資源，這也是我們所知最早的CXL記憶體擴充應用解決方案展示。

其他廠商多半只是展示伺服器主機可以識別與抓取CXL記憶體擴充裝置上的DRAM容量而已，三星更進一步，將他們的CXL記憶體擴充裝置整合到資料庫應用平臺運作。

到了2020年，又有更多廠商投入這個領域。行動最積極的仍是三星，先是在5月發表升級版的CXL記憶體擴充模組，最大容量提高4倍達到512GB，存取延遲也減少80%。接著在8月的FMS 2022大會，展出兼具NVMe SSD與CXL記憶體擴充模組雙重功能的特殊產品，名為Memory-Semantic SSD。

另一記憶體大廠SK Hynix也在8月，跟進發表了CXL記憶體擴充模組產品，稱作CXL 2.0記憶體裝置（CXL 2.0 Memory），外形採用E3.S規格，每組可提供96 GB記憶體。

CXL記憶體擴充模組的應用模式
CXL記憶體擴充模組的基本目的，是讓CPU在既有的DIMM之外，獲得額外的記憶體頻寬與容量。以上圖為例，單一CPU原本最多只能配置8個DIMM記憶體通道，而透過CXL技術，則能另外透過PCIe傳輸通道，安裝4組CXL記憶體擴充模組，讓CPU可用的記憶體容量與頻寬大幅增加了50%與40%。圖片來源／SK hynix

同月，矽谷晶片設計商Astera Labs發表2款Leo系列CXL記憶體控制器晶片，搭配該公司Aurora A系列記憶體擴充板卡，上面可搭載最多2TB的DDR5記憶體，以CXL記憶體擴充卡的形式，作為CXL記憶體連接測試平臺。

到了9月，臺灣的世邁科技發表E3.S規格的XMM CXL記憶體模組產品，有64GB與96GB兩種規格，接下來也會推出AIC卡板形式版本。

10月底OCP全球大會SK Hynix展出特別的CXL記憶體衍生產品工程原型——運算型記憶體解決方案（Computational Memory Solution，CMS），這張工程原型的PCIe板卡，搭載了512GB記憶體與可程式化運算單元，不僅可為伺服器提供額外記憶體資源，還能在板卡就近執行資料處理作業，減少資料在CPU與記憶體之間的往返。

緊接著在2022年11月舉行的SC22大會，前述這些CXL記憶體模組產品也展現進一步的應用整合成果。

例如，以色列新創廠商UnifabriX展出2U機箱形式的CXL Smart Memory節點裝置，便可搭配三星或SK Hynix的E3.S規格CXL記憶體模組，是首波應用這類CXL記憶體模組的解決方案之一。

臺灣伺服器廠商雲達科技（QCT）也有展示，他們以QuantaGrid D54Q-2U伺服器，搭配Astera Labs Leo CXL記憶體擴充卡，構成CXL應用展示平臺。

時隔半年多以後，在今年8月舉行的FMS 2023大會中，接續出現一批CXL記憶體產品與應用解決方案。

例如，美光（Micron）展出CZ120 CXL記憶體擴充模組，採用E3.S規格，可提供128GB或256GB容量，成為繼三星與SK Hynix之後，投入這個領域的記憶體大廠。

而三星則以他們的256GB CXL記憶體擴充模組為基礎，與MemVerge、H3 Platform、XConn等廠商合作，推出CXL記憶體系統。

CXL記憶體擴充模組的基本型態

CXL記憶體擴充模組的組成，包括CXL控制器晶片，加上DRAM記憶體晶片，裡面的DRAM記憶體經由CXL控制器晶片的中介，經由PCIe介面與伺服器CPU連結。

截至目前為止，總共有7家廠商都曾發表或展出CXL記憶體擴充模組，其中的Montage Technology與Meta，展出的產品都是內部開發測試用的工程原型，應該沒有對外銷售的打算；Astera Labs的CXL記憶體擴充卡，應該是提供其他廠商構建開發測試平臺之用，主要銷售對象並非一般用戶；至於三星、SK Hynix、美光與世邁科技的產品，則是面向一般用戶的產品。

這些產品都採用一致的型態，待配套環境成熟、相容性問題解決後，理論上便能成為通用、可互換的規格，便於用戶視需要選購CXL記憶體擴充模組，以便在自身使用的伺服器搭配。

接下來我們便從外型、容量與效能規格，來檢視這些第一代的CXL記憶體擴充模組產品。

外型規格

目前的CXL記憶體擴充模組，基本上都是採用2種外型規格，如果不是基於EDSFF E3.S模組型式，就是AIC（Add-In Card）附加板卡形式。

不同的外形規格會影響安裝部署方式，E3.S模組的CXL記憶體擴充模組，和E3.S規格的SSD一樣，可安裝在伺服器磁碟槽使用。AIC板卡的產品，則是同於一般PCIe卡，安裝在伺服器的PCIe擴充插槽。

記憶體型式與容量

目前已發表的CXL記憶體擴充模組產品，全都是搭載DDR5記憶體，容量最小從64 GB起跳，最大可達2 TB。

基於E3.S規格的產品，是直接將DRAM記憶體晶片嵌在模組的機板上。而採用AIC附加板卡的產品，則是在板卡配置DIMM插槽，然後將記憶體DIMM模組裝到插槽上。

一般來說，採用AIC板卡的產品，可以憑藉本身有較大尺寸的空間，而設置、提供更大的記憶體容量，不過這也要視廠商採用的記憶體顆粒容量而定。

目前採用E3.S規格的產品中，容量最大的是三星的CXL記憶體擴充模組，最大容量達512 GB。AIC板卡規格的產品則能提供更大的記憶體容量，如Astera Labs的Aurora記憶體擴充板卡，可安裝最多2 TB DDR5記憶體。

傳輸介面

CXL協定是嫁接在PCIe 5.0/6.0的物理層的介面之上，目前的CXL記憶體擴充模組中，採用E3.S規格的產品，底層傳輸介面規格都是基於PCIe 5.0×8，而採用AIC附加板卡規格的產品，則有基於PCIe 5.0×16介面的案例，可提供更高的傳輸頻寬。

效能表現

CXL記憶體擴充模組的基本目的，讓伺服器突破既有DIMM插槽的限制，提高CPU的記憶體容量與傳輸頻寬。

而在具體的數值規格方面，依不同廠商的產品與計算方式，安裝在伺服器上的CXL記憶體，能為伺服器每顆CPU提供的容量與頻寬增長比例，從20%到1倍都有。

目前，我們看到SK Hynix特別列出了具體的計算方式。

舉例來說，在目前的伺服器產品Z，每顆x86處理器最多配置8個DDR5記憶體通道，以及768 GB DRAM記憶體（8條96GB模組），記憶體傳輸頻寬介於260至320 GB/s。透過PCIe插槽安裝4組SK Hynix的CXL 2.0記憶體模組後，每個記憶體模組可提供96 GB記憶體，以及30至40 GB/s記憶體頻寬。因此，CPU配置的記憶體最大容量，可提高到1.15 TB（原有的768 GB記憶體，加上4組CXL記憶體擴充模組合計的384 GB），較原本提高將近50%，記憶體傳輸頻寬也提高到360至480GB/s，比起原本的組態提升了40％，效能增長的幅度可說十分顯著。

相較於透過DIMM直連CPU的基本系統記憶體，CXL記憶體擴充模組是透過PCIe匯流排介面來連結CPU，因此，在效能與延遲方面面臨的折損，自然會讓用戶產生一些疑慮。

不過，根據QCT在SC22大會展示內容，以伺服器搭配Astera Labs Leo CXL記憶體擴充卡所作的實測顯示，CXL擴充記憶體的效能，可以達到DIMM系統記憶體的95%左右；而在存取延遲方面，則與跨UPI/QPI通道存取另一處理器插槽所屬DIMM的延遲相當。

也就是說，就單機系統的環境來說，儘管CXL記憶體擴充模組的效能比不上DIMM記憶體，但差距很小，在多數應用都不致成為問題。

 相關報導