【資料中心基礎架構的革命】CXL與可組合式基礎架構的結合

推出至今已有6、7年之久的可組合式基礎架構（Composable Infrastructure），這類技術問世之初，是以提供IT基礎架構動態的按需分解，以及組合能力作為主要訴求，進而實現全面資源池化的資料中心架構。儘管可組合式基礎架構產品確實累積一定的成果與用戶，但限於較高成本、缺乏標準化，始終未能普遍應用。

不過，近期隨著CXL（Compute Express Link）記憶體互連技術的崛起，以及快速發展，讓可組合式基礎架構重新獲得了進一步發展的契機。

透過CXL提供的標準化、通用化高效能傳輸架構，有望解決可組合式系統的成本與標準化問題，進而推動可組合式應用的擴展，最終實現資料中心基礎架構的全面變革。

資料中心資源配置最佳化的難題

可組合式基礎架構的目的，是透過IT基礎設施資源的按需分解與組合，來解決困擾資料中心的老問題：如何實現資源配置的最佳化。

該如何滿足應用程式千變萬化的需求，並且適當的配置運算、儲存、網路等基礎架構資源，一直是困擾資料中心管理者的主要問題，因為資源的不足與過量都會造成嚴重後果——資源供應不足將會影響應用程式的效率、甚至運作停擺，資源供應過量又會形成資源閒置，導致營運成本的無謂浪費。

因此，相對理想的資料中心資源配置方式，是「動態」的「按需配置」。

所謂的「按需配置」，就是依照應用程式的運作需求，恰當的配置資源數量，但應用程式的資源需求並不是一成不變，往往會隨時間而變化，所以資源配置必須視需求變化動態調整，在需求增加時增加資源供給，在需求降低時則減少資源配置。

然而傳統基礎架構建置模式，存在著兩大先天制約，導致資源配置難以達到最合適與最理想的狀態。

第1個制約，來自「預置式」的IT基礎架構建置方式。

第2個制約，來自「靜態式」的伺服器資源配置型式。

傳統的IT基礎架構建置方式，都是「預置」的，也就是預判個別應用程式或應用平臺的運作資源需求，然後組建用於運行這些程式的伺服器。為了預防應用程式因資源不足而癱瘓，一般企業都是「寧濫勿缺」，寧可超額配置資源（over provisioning），因而在典型IT環境，過量配置與資源閒置往往是普遍現象。對此，可組合式基礎架構先驅廠商HPE引述非營利組織自然資源保護委員會（NRDC）估計，大型資料中心伺服器平均超額配置資源的比率，超過8成，造成大量資源閒置與浪費。

雪上加霜的是，資料中心的基礎架構資源配置形式，都是以個別伺服器為單位、以CPU為中心的「靜態配置」形式，CPU、記憶體與儲存等資源，都被綑綁在個別伺服器之內，以致個別伺服器之間形成一座座的資源孤島，無法跨伺服器調度資源。

前述2項因素，共同導致了當前資料中心資源配置問題。

首先，「預置式」的IT基礎架構建置方式，造成高比例的過量資源配置，帶來大量的閒置資源。其次，「靜態」的伺服器資源配置形式，導致IT人員難以跨伺服器調度資源配置，連帶也無法利用個別伺服器上的閒置資源。

透過虛擬化改善資源配置

透過伺服器虛擬化技術，能一定程度地緩解IT基礎架構過量配置，所導致的運算資源閒置問題。藉由虛擬化平臺的中介，應用程式以虛擬的形式來使用運算資源，而不是固定的佔用實體資源，從而讓多個應用程式動態地共享實體運算資源，大幅減少運算資源閒置。

然而，虛擬化技術動態使用各種IT資源的能力，僅限於在個別實體伺服器之內，依然無法全面橫跨不同伺服器調度資源，只能透過在不同實體伺服器間遷移應用程式工作負載的方式，來調整不同伺服器之間的資源利用率。

但伺服器虛擬化技術這種透過遷移工作負載、間接調整不同伺服器資源利用率的方式，還無法真正實現資源配置的最佳化。

首先，遷移工作負載的實現，是以其他伺服器有足夠閒置資源為前提，換句話說，整個應用環境必須擁有足夠高的超額資源配置，才能允許工作負載的自由遷移，這本身就與資源配置最佳化的概念背道而馳。

其次，遷移工作負載的資源調度方式，是以一整臺實體伺服器為單位，資源配置粒度過大，不能精確對應運算、儲存、網路等不同面向資源的配置。

可分解式基礎架構的基本概念
可組合式基礎架構是透過資源的分解與組合來運作，首先，將基礎架構資源分解為個別的CPU、記憶體、加速卡、網路介面、儲存裝置，再依類型組成資源池。然後，透過可組合式架構的資源編排管理軟體，依照應用程式的工作負載情況，從資源池中提取適當的資源，組成動態的虛擬伺服器，分別配置給各個應用程式使用。
藉此可實現基礎架構資源的動態按需配置，最大程度地減少資源的過量配置與閒置，進而顯著節省IT基礎架構的成本。

解構基礎架構實現資源配置最佳化

可組合式基礎架構則解構了傳統的伺服器應用框架，以「資源池」與「資源的動態分解與組合」的方式，來實施資源的配置。

相較於預先配置了運算、儲存與網路資源的傳統伺服器。可組合式基礎架構採用非預先配置與非聚合式的架構，所有基礎架構資源，都分解為一個個基本的運算、儲存與網路單元，再以軟體定義的方式，將這些資源按需組成動態的虛擬伺服器。

所以用戶此時面對的並不是一臺臺伺服器，而是非聚合的各種「資源池」，如「CPU池」、「GPU池」、「儲存池」、「I/O介面池」等，然後依照前端應用平臺的不同需求，從資源池取出適當的資源，組成動態的虛擬伺服器，提供給個別應用平臺使用。而當需求變化或消失時，則可調整或分解虛擬伺服器的組態，將資源歸還到資源池，再重新組合利用。

透過「資源池」與「資源的動態分解與組合」，可組合式基礎架構相較於傳統伺服器，具備2大優勢：

● 提供更徹底的按需配置：可組合式基礎架構的所有資源，一開始是以分解的型態，分散在各個資源池，再依應用程式的實際需求，從各個資源池中取出適當的資源，組成虛擬伺服器。

● 擁有更靈活的資源調度能力：在可組合式基礎架構下，資源池中的資源可依照前端應用程式的負載情況，靈活地重新分解與組合，藉此調整不同虛擬伺服器的資源配置。

也就是說，可組合式基礎架構提供了「動態」的資源「按需配置」能力，因而不像預先配置資源的傳統伺服器，容易產生大量的資源閒置，即便出現閒置資源，也能將資源從虛擬伺服器分解、歸還給資源池，藉以重新組合運用。

所以，理論上，可組合式基礎架構的存在，可一舉解決解決傳統伺服器資源配置兩大問題：（1）過量資源配置導致嚴重的資源閒置，（2）無法跨伺服器調度資源，進而實現資源配置的最佳化。

率先推出可組合式架構產品的HPE，曾在2016年表示，透過採用這種嶄新的架構，可讓資料中心的資源過量配置減少60%，從而節省17%的資本支出。

HPE在2019年又提出更詳細的效益數字，聲稱藉由可組合式基礎架構產品消除過量配置與閒置資源，IT基礎設施成本能因此降低25%，每臺伺服器的平均部署時間減少71%，同時也能讓IT基礎架管理團隊的效率提高60%。

可組合式架構與超融合架構是截然不同的兩條路線

除了與基於通用伺服器設計而成的傳統IT基礎架構對比，我們還可進一步看出，可組合式基礎架構這種問世於2010年代中後期的新產品，也有別於2010年代初期流行的超融合基礎架構（Hyper-Converged Infrastructure，HCI），兩者可說是正好截然相反的技術路線。

這兩種產品，都可說是本地端IT產品供應商，因應公有雲威脅，而各自發展出來的新興應用架構。

超融合是以基礎架構的融合為手段，以運算、儲存資源合一的基本機箱單元為基礎，訴求採購、部署、管理與擴充的簡便，並具備類似公有雲的超大規模擴展能力。

可組合式基礎架構則反其道而行，以基礎架構的分解與組合為手段，將基礎架構重新分解，成為運算、儲存、網路等基本單元，再彈性地加以組合運用，訴求精確、彈性的資源配置與運用，並提供類似公有雲的按需配置靈活性。

顯然兩種應用架構各自從不同面向，來解決傳統IT基礎架構的問題，然而，可組合式基礎架構的推廣，卻不像超融合那樣順利。

推廣可組合式基礎架構的瓶頸

可組合式基礎架構的開端，是HPE於2016年推出的Synergy，這也是業界首款可組合式基礎架構產品，到了2018年，陸續又有Attala Systems、Dell、DriveScale、Liqid與Western Digital等廠商，跟進投入這個新興的產品領域，形成第一波浪潮。

大約到了2019年前後，可組合式基礎架構的發展到達了高峰，各廠商頻繁發表產品，HPE也表示Synergy產品線營業額已達到15億美元。

後續可組合式基礎架構產品的發展與推廣，卻陷入明顯的停滯，只剩下HPE、Liqid等廠商仍在積極更新產品。其他廠商方面，Attala Systems在2020年之後便消失於市場，DriveScale 2021年為Twitter收購，Dell的MX7000可組合式架構產品線也久未大幅更新。

即便是這個市場的領導者HPE，Synergy產品線的更新速度也已放緩，運算單元的規格，已落後於通用伺服器產品一個世代。

依照市調機構IDC的預估，2023年可組合式基礎架構的總銷售額將達到47億美元，乍看之下，這似乎有不錯的業務表現，其實，還不到通用伺服器市場銷售額的5%，相較於超融合基礎架構（HCI）產品，市場規模也不及其一半。

而這些跡象的存在，也意味著，可組合式基礎架構目前仍未被多數用戶接受，成為建置IT環境的主要選擇。

我們認為可組合式基礎架構推廣不順的原因，可歸納為下列兩點：

公有雲的衝擊

可組合式基礎架構的主要訴求，是消除過量配置與閒置資源，從而顯著節省IT基礎架構的建置與運作成本，這的確有吸引力，但對於多數用戶來說，仍不及由公有雲統包大部分的IT基礎設施建置與管理，所能立即感受到的效益。

事實上，當用戶將應用遷移到公有雲平臺上後，等於將資源配置與閒置問題，轉移給公有雲業者去承擔。

儘管公有雲資料中心同樣存在嚴重的資源過量配置與閒置現象，且業者也將這些沉沒成本轉嫁給承租的用戶承擔，然而，這並不是一般用戶會直接感受到的問題。

可組合架構的代價

可組合式架構提供的基礎資源靈活分解與組合能力，是透過各廠商專屬的軟硬體架構來實現，因而也帶來缺乏標準化與成本較高的問題。

雖然目的相同，但各個可組合式架構供應商的產品型態，有著很大的差異。

例如，HPE Synergy是以10U刀鋒模組機箱為基礎，搭配乙太網路來連結不同的基礎單元，而Dell的MX7000則是以7U刀鋒式機箱為基礎搭配乙太網路，Liqid則是以自身專屬的PCIe交換器與周邊擴充機箱為核心，透過自身專屬PCIe HBA卡，來搭配第3方的運算單元。

除此之外，可組合式架構還需透過專屬的管理軟體與API，才能實現資源的組合與指派。

例如，HPE Synergy搭配OneView可組合式軟體堆疊與Composer軟體，Dell MX7000是透過OpenManager軟體，Liqid則採用自身的Matrix管理軟體。

非標準化的硬體組態與軟體架構，無可避免地會導致可組合式產品成本較高，同時還有用戶將被綁定在特定廠商與產品框架的疑慮。

依照HPE等供應商的說法，透過可組合式產品，至少可以節省20%的IT基礎架構成本，這確實是相當顯著的節省，但考慮到可組合式產品在非標準化，與專屬架構綑綁方面的問題，相當程度抵銷了這個優點，以致許多用戶寧可繼續使用傳統IT基礎架構。

即使撇開非標準化與架構綁定問題，可組合式架構最主要的訴求——透過資源配置最佳化、節省資源過量配置與閒置，從而達到成本節省效果，對於不同應用規模的用戶來說，效益也有很大的差異。

對於大規模IT環境來說，減少一半的資源閒置或20%的成本，的確相當具有吸引力，

但是對於小規模IT環境來說，透過伺服器虛擬化技術，就能讓資源利用率達到可接受的程度，不需要大費周章引進可組合式這種全新架構。

所以，顯然可組合式架構對於大型用戶較有吸引力，對中小型用戶的吸引力較為不足。目前已知的一些HPE Synergy用戶，確實也是大型企業或組織居多。

典型的可組合式基礎架構產品：HPE Synergy
HPE Synergy是最早的可組合式基礎架構產品，上圖為Synergy 12000機箱框架的基本組成，採用10U的刀鋒式機箱，機箱正面可安裝運算模組、儲存模組，以及負責系統管理的Composer模組，機箱背面則安裝SAS連接模組、FC光纖通道模組，以及100GbE乙太網路模組，與50GbE乙太網路內部互連模組。
透過Composer管理模組的OneView管理介面與API，可以透過彈性的方式組合不同運算、儲存與網路模組，配置給應用程式工作負載使用。圖片來源／HPE

CXL技術帶來新契機

可組合式架構若要進一步推廣，勢必要設法解決標準化問題，而核心互連網路架構將會是箇中關鍵！

可組合式架構的核心，在於連結各個基礎架構單元的核心網路，所以，這種架構標準化的關鍵，便在於引進通用的標準網路架構。

先前可組合式相關供應商曾把標準化的希望，寄託在Gen-Z網路互連技術的發展上。比起OpenCAPI、CCIL與CXL等同類型的互連技術，Gen-Z設定的願景更大，不僅能用於處理器與記憶體互連，還規畫了跨機箱與異質裝置的互連，很適合作為可組合式架構的標準互連網路，Dell與Liqid也都曾考慮引進Gen-Z，但不幸的是，Gen-Z並未成功，已宣告終止發展。

而隨著後續Gen-Z併入CXL技術，可組合式架構標準化的希望，這幾年以來，也逐漸轉移到CXL身上。

藉由CXL規格持續擴展，為可組合式架構帶來新轉機，因為它能提供兼具高效能與通用性的標準化傳輸通道，讓可組合式架構的標準化有了新的可能。

隨著CXL技術的發展，可組合式架構領域近來有了復甦跡象，在2021年以後，浮現新一批可組合式基礎架構廠商，例如GigaIO、Fungible、Enfabrica等。（其中Fungible已於2023年1月由微軟併購）

其中部分廠商如Enfabrica，一開始就是基於CXL打造可組合式運算平臺。Enfabrica稱作加速運算網路（Accelerated Compute Fabric，ACF）的模組化、可組合式運算平臺，可透過該公司PCIe/CXL交換器晶片（稱作Server Fabric Adapter，SFA），提供運算、記憶體與網路資源的任意分解與組合能力。

走向全面解構的資料中心

透過CXL技術的加持，有望促使可組合式架構獲得進一步的發展。

但若從更寬廣的資料中心發展觀點來看，無論可組合式架構這類產品最終能否成功推廣與普及，資料中心基礎架構都正朝向解構、非聚合化與資源池化的方式發展。

為了打破伺服器核心單元間的彼此綑綁，獲得更彈性的資源配置，過去20年來，資料中心的基礎架構一直逐漸地解構與非聚合化。

最早實現解構的IT資源是在儲存端，例如，1990年代透過光纖通道（Fibre Channel）、iSCSI等儲存區域網路（SAN）技術，便實現了將儲存資源從伺服器中剝離，讓儲存裝置「資源池化」的目的。

外部儲存設備可透過SAN網路連結成為「儲存池」，而伺服器只需要配置最低限度的本機儲存裝置，甚至完全不配置本機儲存裝置，伺服器需要的儲存資源，則可經由SAN網路從儲存池取得。

在2010年代中後期，透過Nvidia的NVLink、NVSwitch等GPU高速互聯技術，將GPU也從伺服器剝離出來，成為可獨立擴展規模與調整配置的GPU運算叢集。

而到了2020年代的今日，利用CXL這類記憶體互連技術，DRAM記憶體資源目前也已具備從伺服器解構出來的基礎，能在伺服器之外建立獨立的「記憶體池」，從而在不同伺服器之間，動態按需分派記憶體資源，當需求增大時從記憶體池增加記憶體配置，系統閒置時，則將記憶體歸還到記憶體池。

而伺服器本身則能只配置最低限度、甚至完全不配置DRAM記憶體，需要的記憶體資源改由外部的記憶體池取得。

接下來，CXL還能應用到FPGA加速卡、I/O卡等周邊裝置的連結，將這些裝置也從伺服器中剝離出來，成為「加速卡池」、「I/O卡池」，從而在不同伺服器之間動態分配應用。

而伺服器在逐一剝離了儲存裝置、GPU卡、DRAM記憶體、FPGA加速卡、I/O卡，之後便成為只提供CPU資源的單純運算裝置單元，自身也能構成「CPU池」，再加上「儲存池」、「GPU池」、「記憶體池」、「加速卡池」，共同構成全面非聚合化與資源池化的資料中心架構。

上述的發展方向，與可組合式基礎架構的目的，可說殊途同歸。差別在於，資料中心的非聚合化，是綿延長達20年、自然漸進演變的趨勢，而可組合式基礎架構則試圖透過單一產品，就直接實現這個目標。

更進一步而言，這股「解構」的風潮，如今也已經蔓延到最初以融合IT基礎架構為主要訴求的超融合領域，VMware與Nutanix等兩大超融合平臺，近年來都悄悄引進了非聚合式的架構，鬆綁了超融合系統原本的運算與儲存合一架構，開始提供純運算節點與純儲存節點的部署選擇，以便改善資源擴展與配置的效率，等同走向可組合式架構。

所以，我們現在可以更大膽地預言：無論可組合式架構未來能否成功，資料中心IT基礎架構的演變，最終都會成為可組合式架構所描繪的模樣。

邁向非聚合化的資料中心基礎架構
當前的資料中心基礎架構，屬於「非聚合化」發展的初期階段，只有儲存資源與GPU加速器被解構到伺服器外，伺服器應用架構是以CPU為核心，記憶體、I/O介面等資源都綑綁在伺服器內，至於伺服器之間，則主要透過乙太網路互連。
不久之後，當CXL開始獲得應用之後，記憶體也將能被解構到獨立的CXL應用裝置上，構成「記憶體池」，然後透過CXL與伺服器互連，將記憶體資源動態地分配給伺服器使用。
而在更遠的未來，預期CXL的應用將進一步擴大，進而將伺服器機架分解為獨立的運算、記憶體與I/O機箱，分別構成「CPU池」、「記憶體池」、「I/O」池，彼此間都透過CXL互連，成為徹底的非聚合式架構。
依照CXL控制器供應商Marvell的預測，應用CXL記憶體池的部分非聚合式伺服器架構，將在2024到2025年進入部署階段，而完全分解的伺服器架構，則會在2020年代末期出現。圖片來源／Marvell

 相關報導