2022英特爾伺服器平臺：Sapphire Rapids

今年4月初英特爾推出第三代Xeon Scalable系列處理器，沒想到在8月底舉行的英特爾架構日，他們居然打破過去慣例，針對下一代Xeon Scalable系列處理器（研發代號為Sapphire Rapids），提前公開揭露其技術組成架構。

相較於過往的伺服器級處理器，Sapphire Rapids採用了許多首創的設計方式。例如，在封裝的部分，這系列處理器採用新的系統單晶片（SOC）架構，也就是模組化、磚片型（tiled）架構，而能具備足夠的延展性；同時，它們也是首批採用嵌入式多晶片互連橋接技術（EMIB）的產品，而能維持單體（monolithic）的中央處理器介面。

在關鍵技術規格的搭配上，Sapphire Rapids也罕見地區隔出運算、I/O、記憶體，這三大類智慧財產（IP），以建構區塊的形式來呈現特色，令人眼睛為之一亮。此舉讓人聯想到當紅的Arm，他們正是以提供矽智財授權、供用戶搭配設計晶片而在市場迅速崛起，而英特爾在揭露新世代伺服器處理器技術架構，刻意標榜IP組合的舉動，或許別有用意、有互別苗頭的意味。

Sapphire Rapids的三大技術組成

即將登場的英特爾下一代伺服器處理器Sapphire Rapids，當中實作、結合了許多技術，主要包含了運算、I/O、記憶體等三大類型的技術智財，當中除了英特爾自行研發的製程、封裝、核心微架構、加速器引擎、I/O介面、儲存級記憶體，也有業界最新標準，例如PCIe 5.0、CXL 1.1、DDR5、HBM。圖片來源／英特爾

而單從這些技術組成來看，同樣能發現英特爾對於下一代伺服器處理器，意外採取積極擁抱新規格的態度。例如，他們在毫無預告的狀態下，突然宣布要支援PCIe 5的I/O介面、CXL 1.1互連、DDR5記憶體，以及提供內建HBM記憶體的產品款式。過去英特爾Xeon支援新規格的進度相當遲緩，就連日益普及的PCIe 4.0，也是今年4月推出的第三代Xeon Scalable支援，DDR4-3200記憶體的支援也是如此，相較之下，競爭廠商在前代產品幾次都搶先一步支援新規格，如今態勢改變，英特爾難得採取超前部署的姿態。

因此，Sapphire Rapids如今要搶先一步支援上述新規格，此舉可說是顛覆了過去大家的刻板印象。事實上，英特爾過去通常會耐心等待相關技術與應用成熟，屆時再進場提供支援，也難怪各界會詫異有這樣的改變。

事實上，綜觀現今的伺服器處理器平臺，目前唯有Arm今年4月底主推的Neoverse V1和N2，打著支援PCIe 5介面、CXL 1.1、DDR5記憶體、HBM記憶體（第三代技術HBM2e）的新規格，而英特爾Sapphire Rapids竟不畏被評為「跟進」，而公開宣稱要支援這些特色，這也是過往所難見到的景況，或許真是大家有志一同，都看好這些技術。

採用創新製程與封裝技術，實現模組化系統單晶片架構

關於第三代Xeon Scalable之後接班的伺服器處理器，在2020年英特爾架構日上，首度正式提及Sapphire Rapids，他們預告這款處理器將採用Enhanced SuperFin製程，並支援DDR5、PCI 5.0、CXL 1.1等先進規格；同時，這款處理器將內建新的加速功能，像是廣泛針對資料搬移應用的資料流加速器（DSA），以及用於深度學習的進階矩陣延伸指令集（AMX）；供貨時程上，他們將於2021年下半開始生產出貨。

同年11月，英特爾在美國超級電腦大會期間，再度提及Sapphire Rapids，在採用的製程技術上，以10奈米Enhanced SuperFin稱呼，而對於AMX，則以AI加速指令集DL Boost的次世代技術來比喻。在超級電腦系統的應用案例上，美國洛斯阿拉莫斯國家實驗室發展的Crossroads系統，也宣布將採用Sapphire Rapids處理器。

到了今年，英特爾目前已連續在三場強調公司轉型策略的重大活動當中，提到Sapphire Rapids的最新技術進展。首先是3月舉行的IDM 2.0策略發表會上，該公司新任執行長Pat Gelsinger表示，他們已經開始提供Sapphire Rapids的樣品給特定用戶，希望年底達到生產階段，並在2022年上半「大躍進」，並預告下一代的伺服器處理器代號，會是「Granite Rapids」，屆時將會導入基於Intel 7奈米製程的運算晶磚（Compute Tiles），當中會結合模組化設計方式，以及他們引以為傲的封裝能力。

接著是7月底舉行的Accelerated 2021發表會，公布多項製程與封裝創新消息之餘，也提到新款伺服器處理器進度。

以製程而言，由於英特爾採用了新的命名方式，也使得Xeon Scalable系列處理器的下一代與下下一代產品，也將對應不同的製程名稱，如Sapphire Rapids原本是10奈米Enhanced SuperFin製程，現改名為Intel 7製程。至於再下一代的Granite Rapids處理器，先前採用的製程是Intel 7奈米，改名為Intel 4。

至於封裝，英特爾表示，Sapphire Rapids將是首款採用EMIB封裝的Xeon處理器量產產品，也會是首款使用4個方塊晶片（dual-reticle-sized）的裝置，提供近乎單體（monolithic）設計的效能。（編按：所謂的dual-reticle-sized，直譯是雙光罩尺寸，是指原本單一光罩所能製作的晶片大小限制，用封裝技術黏起來，達成相較於原先2倍的尺寸，而在長、寬都多1倍的狀況下，因此，實際上會是4個方塊）。

若就EMIB規格來看，Sapphire Rapids的凸點間距（bump pitch）是55微米，而在之後推出的伺服器處理器上，這類規格將會縮減至45微米。

英特爾強調，EMIB讓Sapphire Rapids運用嵌入基板的矽晶片互連機制，而不需用到大型矽晶片矽中介層，相較於標準封裝的互連方式，EMIB能提供2倍頻寬密度，以及4倍電力使用效率。

關於Sapphire Rapids的封裝方式，8月底舉行的英特爾架構日期間，負責這項產品的總工程師Nevine Nassif，介紹當中採用的新型模組化、磚片型架構，並解釋其為何能具備更大擴展性、超越實體光罩設計限制的理由，關鍵正是導入了EMIB，它能將多個獨立的晶磚，整合到一個封裝，實現單顆邏輯處理器的設計，藉此提供跡近單體晶粒設計的效能、功耗、密度，同時，還能擴充核心數量、快取容量、記憶體容量，以及I/O。她強調，這樣的設計能針對所有的工作負載，提供平衡的擴充性與一致的效能，對於資料中心規模的伸縮度與資源利用率的最佳化而言，這會是關鍵。

在軟體應用上，此種架構能提供單一、平衡的統合記憶體存取（UMA），可讓每個執行緒完整存取所有晶磚內蘊含的資源，像是快取、記憶體、I/O，也因此對於整個系統單晶片而言，可以獲得低延遲與大量的跨區存取頻寬（cross-section bandwidth）等好處，進而實現低抖動（low Jitter）的系統穩定執行表現。同時，用戶者還可以在此啟用Sub-NUMA與Sub-UMA層級的叢集，以獲得額外的效能與延遲度改善。

Sapphire Rapids晶片採用新一代模組化設計

單體（Monolithic）型態的晶粒（Die）是英特爾Xeon系列處理器沿用多年的設計方式，而在即將問世的Sapphire Rapids身上，他們改用多個晶磚（Tile）的作法，在設計上，可具有更大的擴充性、平衡度，得以如此的箇中關鍵，正是英特爾發展的嵌入式多晶片互連橋接（EMIB）技術，而在這樣的架構之下，處理器的每一個執行緒，都可以完整存取所有晶磚的資源。圖片來源／英特爾

英特爾下一代伺服器處理器搶先亮相

在8月底舉行的英特爾架構日期間，該公司設計工程事業群資深院士暨首席架構師Sailesh Kottapalli，透過線上發表會的形式，介紹了下一代伺服器處理器Sapphire Rapids的整體特色，並且展示實際的產品。圖片來源／英特爾

整合高效能核心與加速器引擎

在處理器的組成元件上，過往英特爾在不同世代的產品當中，主要是透過導入新的微架構來提供新的功能特色。

而在個人電腦平臺的下一代處理器Alder Lake，以及伺服器平臺的下一代處理器Sapphire Rapids，均採用複合式搭配方式──前者混合搭配兩種微架構：代號為「Gracemont」的高效率核心（Efficient x86 Core，E-Core），以及代號為「Golden Cove」的高效能核心（Performance x86 Core，P-Core）；後者則採用高效能核心，以及多種與資料中心應用有關的加速器引擎，可直接在處理器內部提供異質運算架構。

而在Sapphire Rapids採用P-Core之後，可獲得下列好處。首先可受益於Intel 7製程的技術突破，在微架構與每週期指令（IPC）的執行效能上，獲得改善；其次，對於伺服器處理器因為處理資料中心規模的大量程式碼與資料，而出現存取瓶頸的狀況，P-Core在前端設計上，配置數量更多的指令轉譯後備緩衝區（iTLB）、解碼器（支援更大的解碼寬度）、微操作佇列（μop Queue）、微操作快取（μop Cache），同時也改善指令分支預測的精準度，採用更聰明的程式碼預先存取機制，能有效降低L1快取延遲，針對L2快取的完全寫入提供頻寬預測最佳化處理。

第三，針對多租戶服務這類資料中心運作模式，P-Core具備多種功能，像是：VM快速遷移、進階的快取與TLB服務品質確保（QoS），以便提供一致的效能。第四，則是提供自主、控管粒度更細緻的電源管理機制，P-Core可因應高時脈的運作，在不發生抖動的狀態下，提升處理器核心的效能。

提供更寬大、聰明的運算執行架構

Sapphire Rapids處理器採用的微架構，是代號為Golden Cove的高效能核心（Performance Core），可針對低存取延遲與單執行緒應用程式，提供更好的處理效能，能強化一般用途的系統執行，也更足以支撐蘊含大量程式碼與資料的應用程式。圖片來源／英特爾

此外，P-Core本身也內建多種加速指令集架構與功能支援，可因應資料中心的應用需求。當中最受矚目的莫過於進階矩陣延伸指令集（AMX），可針對深度學習工作負載當中的張量運算，提供大規模的加速處理，而這也是Sapphire Rapids主打的特色。

而在運算能力上，有了AMX，可讓Sapphire Rapids具備更強大的AI效能。例如，在每個處理器運算執行週期當中，AMX可以完成2,048個INT8整數運算，以及1,024個BF16浮點運算。若以現行的AVX-512指令集來處理，只能完成256個INT8整數運算，以及64個BF16浮點運算；英特爾也基於早先發展的Sapphire Rapids產品，透露矩陣乘法微型測試結果，結果發現：相較於現有AI加速指令集AVX-512 VNNI，採用AMX的處理速度可達到7倍之高。

另一個是加速器介接架構（AIA），針對加速器、裝置的連接，可在系統的使用者模式（User Mode）層級，以原生、有效率的方式，執行調度、同步、訊號傳遞等任務，而不是到工作繁忙的核心模式（Kernel Mode）執行。

搭配功能更強大的運算核心之餘，英特爾在Sapphire Rapids也首度導入加速器引擎的設計，針對資料中心層級通用的作業模式，提供高階的最佳化處理機制，藉此減輕常態下的運作負擔，以及提升P-Core的資源利用率，進而拉抬使用者工作負載的效能。

舉例來說，上述AIA，以及後面提到的進階虛擬化功能，也被英特爾歸類於加速器引擎，除了減輕核心模式的經常性負擔，還能避免複雜的記憶體管理。

目前Sapphire Rapids還提供哪些加速器引擎？首先是前面我們曾提到的資料串流加速器（DSA），這是專為資料中心環境最常見的資料搬移作業，舉凡封包處理、資料縮減、虛擬機器遷移時的快速建立檢查點，所設計的卸載功能，能夠提升整體工作負載的效能，適用範圍可涵蓋處理器、記憶體、快取，以及各種透過I/O介面連接的記憶體、儲存裝置、網路設備之間的資料搬移活動。

而在實際應用上，目前每顆處理器可支援4個DSA加速器實體，根據英特爾進行的Open vSwitch測試當中，處理器利用率能因此減少39％，而在資料搬移的效能上，可改善至2.5倍的幅度。

內建加速器引擎，在處理器內部實現異質運算

過去英特爾處理器通常會以內建各種指令集的方式，就近實現多種加速運算，但Sapphire Rapids於處理器核心之外，增添了加速器引擎的配置，可運用這種方式將常見的工作卸載到加速器引擎執行，為關鍵工作負載騰出更多可用的運算容量。圖片來源／英特爾

第二個新世代處理器內建的加速器引擎，是英特爾發展已久的Quick Assist Technology（QAT），-而且，Sapphire Rapids將提供的是新一代QAT引擎，可大幅提升效能與實用性，並且不僅支援最常見的加密、雜湊、壓縮等演算法，還能將這些作法串在一起使用。而對於資料中心環境當中，能以加密方式針對全部數據的儲存、傳輸、使用進行保護，面對持續增長的資料量，企業也能善用這項技術，促使相關數據維持在壓縮的格式。英特爾表示，若以QAT來處理這些資料，會比使用P-Core還要快，而且執行同樣的功能時，還能減少需要的運算核心數量。

而在加密處理作業上，英特爾表示，QAT如今可提供400Gb/s的效能（對稱式加密），而同時進行壓縮與解壓縮的處理上，均可達到160 Gb/s。而在英特爾運用Zlib L9壓縮演算法的測試當中，處理器使用率降低50％，壓縮速度是未啟用QAT的22倍。相對地，若不啟用QAT，要得到同樣的效能，英特爾預估要運用1千顆P-Core才能達成目的。

關於加速器引擎，除了DSA和QAT，英特爾在8月23日舉行的Hot Chips大會，針對Sapphire Rapids的介紹，還補充前一週架構日所未提及的動態負載平衡（Dynamic Load Balancing，DLB），顧名思義是針對多個處理器核心提供平衡負載的處理，每秒可執行4億個負載平衡決策，也能將軟體型態的佇列管理工作卸載到這裡執行；在優先處理的佇列排定上，最多可設置8個層級；在動態處理的部份，DLB可提供流量感知的負載平衡與重新排定執行順序，對於應用程式的可用資源容量，DLB也能支援動態、耗電量感知的配置處理。

I/O介面大躍進，支援PCIe 5.0、CXL 1.1等業界新規格

針對伺服器對於記憶體與加速器擴充需求，Sapphire Rapids支援1.1版的CXL，基本上，CXL是針對處理器、記憶體擴充、加速器的互連機制，它運用PCIe 5.0實體層的基礎設施與PCIe替代協定，可因應高效能運算負載。

或許是支援CXL 1.1的關係，Sapphire Rapids也順勢支援PCIe 5.0，提升周邊裝置I/O存取效能，英特爾也針對這部份提供了改良的服務品質確保（QoS），以及DDIO（Data Direct I/O）技術，與這項新規格支援一起推出。

而英特爾本身發展的多顆處理器互連技術UPI（Ultra Path Interconnect），是在2017年Xeon Scalable系列處理器推出而一起問世的，當時取代了QPI（QuickPath Interconnect），而經過三代以來的採用，如今也將隨著Sapphire Rapids推出UPI 2.0版，將提供更多連結（4個）、更大的頻寬與更快的傳輸速度（16 GT/s ）。

在Hot Chips大會上，英特爾特別補充了I/O虛擬化的兩大功能：共享虛擬記憶體（Shared Virtual Memory，SVM）、可擴展I/O虛擬化（Scalable I/O Virtualization，S-IOV），屬於進階的虛擬化應用特色。

基本上，SVM能在處理器的虛擬定址空間，讓裝置與Intel架構運算核心能夠在此存取共用資料，可避免記憶體固定於一處與進行內容複製的常態負擔，適用於整合型、獨立型、裸機型、虛擬機器型的執行個體服務。

至於S-IOV，能夠在虛擬機器／容器與PCIe裝置之間，提供通用的硬體加速機制。舉例來說，S-IOV可橫跨數千臺虛擬機器／容器，提供硬體加速器的可擴展式共享，以及直接存取等兩種方式。這種作法能夠比現行大家熟知的SR-IOV，提供更大的延展性，而且比起僅限軟體的裝置擴展方式，S-IOV可提供更高的效能。而在支援的裝置類型上，S-IOV可用於整合型與獨立型裝置。

支援DDR5、HBM新世代記憶體

提供平衡的快取與記憶體架構，同樣是Sapphire Rapids的賣點，英特爾希望能在低延遲的狀態下，提供足夠的持續存取頻寬。

在內建快取記憶體的部分，Sapphire Rapids支援大容量的共用快取，以便讓整顆處理器能夠動態共享這些內容，因此在L3快取上，英特爾決定配置比過往配置多一倍的容量（100 MB以上），並強化服務品質確保的機制。

在伺服器系統DRAM記憶體的搭配上，Sapphire Rapids將會支援DDR5，可獲得頻寬更大（5200 Mbps）、更省電（1.1伏特）等特色，而且，英特爾在此同樣會是搭配4個記憶體控制器，支援8個通道的存取。

至於儲存級記憶體應用，英特爾長期主導發展的Optane Persistent Memory，將推出第三代產品，亦即300系列，Sapphire Rapids也會提供支援。

除了這些記憶體類型之外，Sapphire Rapids也將在部分產品的版本中，整合高頻寬記憶體（HBM），以因應密集型平行運算的高效能需求，像是高效能運算、機器學習、記憶體內（In-Memory）資料分析等工作負載，屆時將會提供兩種運作模式：以同樣的記憶體區域搭配HBM與DRAM使用的均一模式（Flat Mode），以及支援DRAM記憶體的快取模式。

基於上述的新世代記憶體類型，英特爾也將支援記憶體分層應用（Memory Tiering），例如，軟體可存取的HBM+DDR記憶體資源，以及介於HBM與DDR之間的軟體透通式快取。

對於微服務，以及整數與浮點運算的應用，提供大幅提升的效能

英特爾架構日公布Sapphire Rapids的效能測試比較結果，在微服務的部分，受益於AIA、DSA、QAT等加速器引擎的使用，以及多種分攤系統經常負擔的處理機制，相較於第二代Xeon Scalable系列處理器，英特爾新發展的下一代伺服器平臺Sapphire Rapids可提升70％的效能（左圖）；而在整數運算與浮點運算上，Sapphire Rapids新增的AMX延伸指令集可帶來相當顯著的效能增長，連帶也能大幅提升機器學習類型工作負載的處理能力（右圖）。圖片來源／英特爾