磁碟陣列控制器的效能瓶頸：8Gb光纖通道的高效能要求

對所有IT系統來說，決定效能表現的是系統中最慢的那一個環節。如果只單方面提高某個環節的效能，系統整體效率還是會被最慢的環節所拖累。

對8Gb光纖通道磁碟陣列來說，8Gb規格大幅提高磁碟陣列對前端主機埠的傳輸頻寬，只要2個埠就有1,600MB/s頻寬，4個埠更達到3,200MB/s，遠高於上一代4Gb FC規格。然而頻寬大幅拉高的結果，也讓過去在4Gb時代還不明顯的控制器效能問題，頓時緊張起來。

光纖通道磁碟陣列控制器典型架構

典型的光纖通道磁碟陣列控制器，由作為核心的I/O處理器、硬碟控制器、光纖通道控制器等3個主要元件構成，I/O處理器透過PCIe或PCI-X匯流排連接硬碟控制器與光纖通道埠控制器，硬碟控制器再透過硬碟介面匯流排連接到硬碟背板，再連接硬碟，而光纖通道控制器則連接到光纖通道埠，如圖一所示。

圖一. 典型光纖通道磁碟陣列控制器架構

由這樣的架構，可看出可能的效能瓶頸有6個環節：

（1）硬碟本身效能。

（2）硬碟介面匯流排頻寬。

（3）硬碟控制器到I/O處理器之間的匯流排頻寬。

（4）I/O處理器的資料處理能力。

（5）I/O處理器到光纖通道控制晶片間的匯流排頻寬。

（6）光纖通道埠傳輸頻寬。

在這6個環節中，硬碟本身的效能與控制器無關，所以要討論的是剩下5個環節。

控制器的效能瓶頸

我們從硬碟端開始，逐一檢視控制器各個環節：

●    硬碟介面匯流排頻寬：目前最常見的是3Gb/s SAS規格，一般SAS Expander多採用2條4× SAS通道，可有2,400MB/s頻寬。

●    硬碟控制器到I/O處理器之間的匯流排：常用的有PCIe×8或PCI-X，而PCIe×8的頻寬為2,128MB/s，64位元PCI-X為1,066MB/s。

●    I/O處理器效能：視處理器型號而定，常見的有Intel的IOP系列，以PowerPC搭配RAID處理器的混合型式也相當常見。

●    I/O處理器到光纖通道控制晶片間的匯流排：常用的有PCIe×8或PCI-X。

●    光纖通道埠傳輸頻寬：4Gb FC規格每個埠為400MB/s，8Gb FC埠則為800MB/s。多數磁碟陣列控制器至少都會有2個埠，配置4個埠的機型也很普遍。

顯然的，當光纖通道埠提高到8Gb FC時，就會對控制器其他環節形成壓力。我們以一個市場上相當常見，採Intel IOP341處理器的典型FC-SAS磁碟陣列控制器為例，如圖二所示。

圖二. 採用Intel IOP341處理器的典型控制器架構

從圖可看出，整個控制器的效能，都卡在硬碟控制器到I/O處理器間的PCI-X匯流排上，無論控制器其他單元再快，整體輸出效能也都會受PCI-X的限制。這種架構還可應付2個4Gb FC埠的輸出要求，當對外的主機埠增加到4個4Gb FC埠時，就會出現控制器內部頻寬低於對外傳輸總頻寬的問題。

若把對外的主機埠進一步升級到8Gb FC規格，我們可很明顯的發現，控制器的效能「填不滿」8Gb 埠的輸出頻寬，即使同時啟用數個8Gb FC埠，控制器輸出能力還是會被限制在PCI-X的1GB/s以下。

在我們這次採購特輯的產品實測中，也可發現一些採用這類架構的Intel IOP 341處理器機型，雖然也提供了2個8Gb FC埠，但在測試中所能達到的最大傳輸率仍然只有700～800MB/s。

某些控制器架構則能避免這個現象，我們以喬鼎採用Intel IOP 348處理器的控制器架構為例，如圖三所示。IOP 348整合了SAS控制器，故無須設置獨立的SAS控制器，SAS Expander可直接連接IOP 348，然後再透過2GB/s頻寬的PCIe×8連接光纖通道控制晶片，足可因應2個8Gb FC埠的對外頻寬。

圖三. 採用Intel IOP348處理器的典型控制器架構

6G SAS介面倍增控制器效能壓力

自6Gb/s的SAS規格於2009年初問世後，已逐漸替代既有的3Gb/s SAS，先應用到伺服器上作為內接式硬碟介面，現在又把應用範圍擴展到外接式儲存設備上。以我們這次採購特輯的測試為例，在7款測試產品中，就有3款可支援6Gb/s SAS規格，隨著硬碟廠商停產舊的3Gb/s規格產品，6Gb/s SAS很快就會成為主流。

對採用光纖通道主機介面的磁碟陣列來說，8Gb FC主機埠搭配6Gb/s SAS硬碟介面將是日後的主流機型標準配置。然而當硬碟介面提高到6Gb/s後，連帶也對控制器產生了更高的效能要求。

就8Gb FC+6Gb/s SAS的組態而言，8Gb FC提高了對外主機端的頻寬，6Gb/s SAS則提高了內部對硬碟端的頻寬，因此夾在中間的控制器必須跟著提高資料處理能力，才能發揮前、後端增長的效能。

我們可參考既有的8Gb FC+6Gb/s SAS磁碟陣列控制器架構，來看廠商是如何因應這方面的問題。

圖4是普安目前這一代產品的G6控制器架構，採用普安一貫的處理器搭配構型，由PowerPC負責一般I/O通用處理，搭配普安自身的ASIC 667晶片負責RAID運算。為提高效能，從I/O處理器到SAS控制器與光纖通道控制晶片都採用2GB/s頻寬的PCIe×8匯流排。儘管這仍填不滿每組控制器的4組8Gb FC埠總輸出頻寬，但已較先前的產品有相當程度的改善。

圖四. 普安PowerPC+專屬ASIC的控制器架構

圖5則是普樺8Gb FC+6Gb/s SAS磁碟陣列控制器架構，採用了LSI的SAS2116處理器，這顆單晶片處理器整合了800MHz PowerPC 440通用處理器，並兼有I/O處理、RAID運算與SAS控制等功能，還能支援PCIe 2.0×8。

藉由新的PCIe 2.0×8規格，LSI SAS2116與光纖通道控制晶片間的匯流排頻寬可提高到4,256MB/s，足可應付對外4個8Gb FC埠的3,200MB/s總頻寬。而後端的SAS Expander亦可直接與LSI SAS2116連接，並採用傳輸頻寬達4,800MB/s的SAS 6Gb ×8規格。因此單從匯流排規格來看，這個控制器架構在各個環節上都較能應付前端多個8Gb FC主機埠的頻寬要求。

圖五. 採用LSI SAS2116處理器的典型控制器架構

6Gb/s vs. 3Gb/s SAS硬碟

控制器架構決定了系統的效能上限，但運作時能發揮出多少，仍然得看實際執行儲存作業的硬碟而定。

我們這次的測試中，使用了3Gb/s SAS、3Gb/s SATA與6Gb/s SAS等3種不同介面規格的硬碟，從規格上來看，會直覺地認為6Gb/s頻寬規格應比3Gb/s更快，但從測試結果發現，實際情況並非如此。

6Gb/s相對於3Gb/s雖然匯流排頻寬拉高一倍，但對單一硬碟而言，這只在快取命中、直接由快取記憶體讀取資料時有用。決定持續傳輸效率的主要因素，仍在於轉速與碟片儲存密度，而非匯流排頻寬。

查詢各硬碟廠商的產品規格可發現，只要轉速與碟片儲存密度相當，則無論6Gb/s或3Gb/s匯流排規格的硬碟，均具備相近的持續傳輸速率，大致都在110～190MB/s左右。這也是在我們的測試中，6Gb/s與3Gb/s SAS硬碟系統效能幾無差異的緣故。

6Gb/s SAS的意義在於提供更高的傳輸效能上限，假設同樣採用×4的SAS通道，以及持續傳輸速率110MB/s的硬碟，則6Gb/s系統的4,800MB/s最大頻寬，將可因應由40臺以上硬碟組成的陣列；相對的，3Gb/s系統最大頻寬只有2,400MB/s，當陣列的硬碟數目超過20臺以上時，就會塞滿硬碟通道頻寬，即使再增加硬碟也無法提高效能。

所以對於我們測試環境所使用的12～24臺硬碟的磁碟陣列規模來說，並不會因為硬碟介面是3Gb/s或6Gb/s，而對效能造成太大影響。但理論上當陣列規模擴大到30～40臺或更多時，6Gb/s的優勢便會開始顯現。

8Gb規格有助於整合頻寬需求，簡化架構

由前面的討論可知，當前端的主機埠頻寬提高到8Gb，後端的硬碟匯流排也提高到6Gb/s SAS後，位於中間的磁碟陣列控制器處理能力，要「填滿」這樣高的頻寬存在著許多困難。

不管光纖通道協定或是硬碟介面匯流排，都是以更新一代、頻寬即提高一倍的速度增長，但控制器的處理效能，卻很難也以同樣的速度持續提升。事實上在這篇採購特輯出刊的時候，原本處於實驗室階段的16Gb光纖通道規格，也已經正式展開商品化的腳步，Brocade剛在10月初宣布將在2011年初推出業界第1套支援16Gb FC規格的產品。

顯然的，當前的控制器架構在應付8GbFC規格時都已感到效能不足，遑論傳輸頻寬再次翻倍的16Gb FC規格了。

而當控制器效能成為瓶頸時，無論後端以多少數量的硬碟組成陣列，甚至改用高效能的固態硬碟，也無法改善磁碟陣列的整體效能，相對的，這也減弱了將前端主機埠從4Gb FC升級為8Gb FC的意義—控制器實際上無法輸出相當於這樣多個8Gb FC埠的效能。

不過若從另一個角度來看，即使控制器的處理能力跟不上前端的8Gb主機埠頻寬，但對於過去需以多個4Gb埠或2Gb埠才能滿足的應用，現在只要1個8Gb埠就能滿足。也就是說，更高規格的主機埠有助於整合頻寬，可占用更少的交換器埠、耗用更少的布線與電力，就滿足既定的傳輸頻寬需求，從而達到簡化架構與管理的目的。

相關報導請參考「8Gb光纖通道磁碟陣列採購大特輯」