如何採購多主機板式x86伺服器

企業內IT系統日益發展，所需要的伺服器數量也會越來越多，不過有些企業的機房空間有限，機櫃容積不足，並無法隨心所欲增加主機數。為了要在有限的機櫃空間內，增加實體伺服器的數量，藉此提供密度更高的運算。因此許多廠商開始設法於相同的機櫃高度內，增加更多的實體主機，如刀鋒伺服器 （Blade Server）、多主機板伺服器（Multi-Motherboard Server）。

將伺服器壓縮，藉此在相同機櫃空間上，提供更多臺伺服器的運算效能，常見的用途，就是高效能運算（High-Performance Computing，HPC），將數量眾多的伺服器與處理器，搭配平衡負載設備等裝置，將這些提供運算服務的電腦，集結而成一臺超大型運算設備，以處理超大量資料計算。也因為需要許多處理器來計算超巨量資料，在預算許可的情況下，HPC需在有限的機房空間內建置數量最多的實體伺服器與核心數，而刀鋒伺服器與多主機板伺服器的高密度特點，正好符合高運算機房的需求。

刀鋒伺服器的設計，是將各個電腦元件模組化，以特殊規格開發出體積更小的伺服器模組，因此相對於同機櫃高度的伺服器，這類大多能容納更多的運算模組（主機板、處理器、記憶體），如Dell M1000e刀鋒伺服器，最多可在10U空間內提供16個伺服器，藉此增加機櫃利用率。

相對於刀鋒伺服器，多主機板式的伺服器構造很單純，而且售價大多也便宜許多。事實上，這類俗稱「雙胞胎」的伺服器（Twin Server），其實就是將兩片或更多片主機板，置入同一個機箱內，以便一次擁有多個運算模組，例如在1U空間內，配置了兩個主機板，等於半U就能有1臺伺服器，實體主機數量整整多了1倍，因此也有人稱為0.5U伺服器。事實上，不只是1U高度的伺服器，也有廠商推出2U機箱內設置4個主機板的機型。以廠牌而言，目前臺灣銷售此類伺服器的，多以本土廠商為主，包含凱穩、微星，泰安，以及Supermicro等國內外廠商；對多數主流外商而言，如IBM、HP、Dell等廠商，在臺灣市場，大多以刀鋒伺服器為主力產品之故，因此很少廠商推出這類主機。

除了用作高密度運算外，我們也可以選購多主機板伺服器，建置高可用性叢集架構（High-Availability Cluster）。而主要是由於這種伺服器購買時，需要同時購買兩個運算模組，等於同時購買兩臺實體電腦；若將這兩臺主機配置相同的處理器與記憶體，就能讓這些主機成為彼此的備援電腦，如資料庫伺服器、AD伺服器等系統。若是企業內需購買多臺伺服器來建立高可靠架構，也能考慮這類伺服器。

與一般機架式主機相較，多主機板式伺服器運算密度較高，但精簡後，相對也必須注意有些不便之處，並搭配其他解決方案，如這類伺服器的磁碟連接數量較少，可連接外部儲存裝置來解決此類問題。

由於1臺多主機板伺服器本身就有兩個實體主機，實測時我們也曾使用此類伺服器作為測試平臺，當時是將Supermicro SuperServer 6015T-INFB用做虛擬化平臺的實測，並安裝各種虛擬化系統，而6015T-INFB上的兩個模組使用相同的處理器與記憶體，如此一來，我們在1U的機架空間上，就有兩臺硬體架構完全相符的實體伺服器，恰好可以作為我們實測虛擬平臺，讓我們對照、測試不同虛擬平臺在相同硬體環境上，記憶體數量等系統資源的使用情況，並藉此測試線上移轉（Live Migration）、動態資源調整（RDS）等進階管理功能。

優點：運算密度高，性價比良好
目前市售的多主機板伺服器，大多都是設計於機架式主機上，主要的訴求如同前面提到的，要在有限的機架空間內提供更多臺實體主機，以Supermicro另一臺SuperServer 1025TC-10G而言，它有兩張支援Intel Xeon 5400雙處理器平臺的主機板，分別位於伺服器兩側，而每側運算模組都有各自的磁碟機與網路等I/O裝置，電源供應器則是兩個模組共用的，這和我們先前接觸過的多主機板伺服器類似。

1025TC-10G在1U的機箱空間內，處理器插槽總數是4個，若都搭配4核心處理器，運算核心總共可高達16個。對於需要在有限空間，達到大量運算效能的情況，這類主機的高密度設計可滿足此種情況，而且費用相較於刀鋒伺服器也便宜許多。以我們本次借測的1025TC-10G來說，空機售價僅65,000元，與一般刀鋒伺服器含機箱動輒超過10萬元相比，多主機板伺服器的價格較低；而配備完整的多主機板伺服器售價，大約在120,000至200,000元之間，其差別依照規格配備的各自考量而有不同，但相對於購買兩臺規格相同的1U伺服器，仍便宜一些。

多主機板式伺服器的機架高度，大多設計為1U或2U，而且不論哪一種高度，內部伺服器的密度均相同，平均每1U就有2臺伺服器。和一般伺服器選購相同，購買這種雙胞胎伺服器，處理器規格與記憶體擴充量等規格選擇，與一般伺服器並無太多差異，擴充量原則上都是越多越好。如果是要建立HPC，選購時可以針對預算、處理器總數或是實體伺服器總數、機櫃可容納空間等依據，選擇所需要的伺服器。

此外，這類伺服器銷售時，等於同時出售兩臺實體主機，若是企業內剛好有需要2臺或偶數量的伺服器，並且皆置於相同機房內，在規畫許可的情況下，也可藉此降低設備購買成本。

先天限制：擴充性、連接埠數量較少，但都有方法可以提升
主機板設置密度高的最直接缺點，就是影響伺服器的I/O擴充性。受限於體積，這類伺服器介面卡、磁碟等元件的擴充性都不佳，像1025TC-10G，僅能再加1張介面卡，如果需要同時安裝2張介面卡，如同時加裝磁碟陣列卡與光纖通道介面卡，這樣的擴充性就無法滿足需求了，建議選擇一般的通用機架式伺服器較適合。
磁碟擴充性較差，可連接外部儲存裝置補強

這類伺服器的磁碟安裝數也不多，有些機種單一模組僅能安裝2臺3.5吋磁碟，如我們先前實測的泰安GT24，因此能選擇的磁碟陣列模式屈指可數，使資料保護的彈性大打折扣。

而1024TC-10G相較之下，每個模組足以搭配4臺2.5吋硬碟，雖然可配置基本的磁碟陣列模式，多於只能容納2個3.5吋的同類機種，但對安裝數量超過6個的一般1U主機而言，數量依然僅能提供基本運作，若是需要較大量的儲存空間，就得選擇其他伺服器，或連接NAS等外部儲存設備。

為了加強外部儲存裝置連接的能力，有些多主機板式伺服器會內建InfiniBand傳輸通道，加速伺服器對外部磁碟的I/O效率。InfiniBand是一種光纖傳輸連接埠，以該介面透過專屬的InfiniBand交換器，去連接伺服器與外部儲存裝置，目前其傳輸速率介於2Gbit/s至24Gbit/s。相較於其他使用一般網路介面儲存裝置，網路傳輸多為GbE或10GbE，並且還需負責傳遞其他網路資料，InfiniBand的I/O傳輸速度快上許多。
USB等連接埠數量略嫌不足，可搭配USB集線器改善

在高密度訴求下，除了擴充性會受到影響外，另一個就是連接埠的數量容易不足，特別是USB埠。以1024TC-10G為例，每側運算模組僅有2個USB埠。事實上，在大部分伺服器運作模式下，幾乎不會用到USB裝置，因此這樣的配置其實綽綽有餘，即使是初始化系統建置或後續維護，少量USB埠依然遊刃有餘，但由於雙胞胎伺服器上往往精簡光碟機或磁碟機等I/O元件，有些機種甚至沒有連接鍵盤與滑鼠的PS/2。面對這種情況，我們可以多準備一組USB集線器，供多個USB裝置連接，藉此解決連接埠不足的問題。

除了USB埠數量不足外，這類伺服器前方面板，大多也沒有配置USB埠，這對主機上架後的維護有些不便，作業時都需要繞至機櫃後方才能操作，而這也是這類伺服器的不便之一。
市售機種並無內建光碟機或磁碟機，使用時需自行外接

多主機板伺服器省略的裝置，還包含磁碟機與光碟機，以我們整理的規格表中，所有的主機都沒有包含DVD光碟機，亦沒有內建軟碟機，這和一般伺服器大多內建DVD光碟機有些不同，若是要用光碟機或軟碟機安裝作業系統或應用程式時，需要自行外接光碟機或軟碟機，以我們實測的經驗，是採用USB轉IDE/SATA的轉接器，再連接光碟機來克服上述問題。

雖然這種伺服器沒有內建光碟機，且USB埠的數量也略嫌不足，在設定操作上造成些許不便，不過絕大多數的伺服器，都只在剛建置時，才需要使用這些裝置與連接埠，等作業系統與相關程式安裝完畢、設定參數調整好，讓系統順利上線運作之後，除非硬體需要更新或維護，否則在一般情況下，並不需要頻繁接觸電腦實機，所以這項影響操作管理的不便因素，往往也只在初始建置時，只要前期多費心布建系統，後續這些管理上的問題並不會造成太多影響。注意模組共用產生的風險
為了充分利用每一吋空間，這類伺服器大多會共用許多模組，如電源供應器。當這些模組故障時，會影響所有使用此元件的模組，嚴重時甚至會影響所有模組運作，因此選購時，要留意可能產生的風險，並針對這類問題去規畫妥善的因應之道。
共用電源供應器損毀，將影響所有模組，需考量備援

這類伺服器中，有些機種內的模組是共用電源供應器的，1024TC-10G就是如此，若是該供應器故障，就會同時影響這些模組運作，也代表將會有2臺主機同時停止運轉，會增加許多系統服務中斷的風險，換句話說，若要選擇這類伺服器，在風險管理與備援機制上就要多花點功夫，如多建置1組備援系統。

事實上，基於上述問題，近來亦有廠商推出各模組使用獨立電源供應器的機種，如泰安的YR188，每張主機板上皆連至獨立電源，就不會發生兩臺伺服器同時中斷的問題。此外，有些共用電源供應器的機種，則是設計為1＋1備援式，如凱穩ESR0013，藉此方式提高電源可靠度；有些伺服器的單一模組，甚至有專屬的1＋1備援式電力，如泰安YR290，是此類設備中，電源可靠度最高的機種之一。

除了電源供應器之外，有些機種的系統風扇是共用的，如凱穩的ESR0013。若風扇模組中有任何一個故障時，會影響每個模組的散熱。事實上，當散熱模組中有一個風扇故障時，其他正常的風扇會加速，以維持足夠的散熱氣流，避免伺服器過熱當機。面對這個問題，我們可定期監控，或搭配其他管理工具發佈故障通報，在第一時間更換料件，讓伺服器恢復正常運作。
機房散熱效率更重要

這類伺服器空間狹小，氣體流動範圍因此受限，這對於散熱是一大考驗。雖然在我們實測過程中，並沒有這類伺服器因過熱而當機的記錄，但在我們的測試環境內，觀測到的溫度亦較一般1U主機高了1、2度。若是機櫃內有該類主機大量堆疊，機房內的散熱規畫就需要更多留意，這點可以參考刀鋒伺服器的冷卻管理方式。

由於伺服器密度很高，因此整臺設備背後連接的線路也可能非常多，如果沒有整理妥善，會阻礙主機後方的散熱氣流排出，影響伺服器散熱品質。當伺服器建置完成後，最好花些時間整線，讓主機後方能將熱氣順利排出。

相同機櫃高度的配置電力較高
由於多主機板伺服器在相同機櫃高度下的核心數、主機數量較多，因此用電量會比一般機架式伺服器高些，以我們規格表內整理的1U主機為例，它們的電源供應器若以共用方式來看，少則780瓦，有些機種甚至高達1000瓦，跟一般600瓦左右的1U主機相比，用電量增加許多，若是要安裝於IDC機房內，就需要留意代管業者提供的電力插座能否因應；如果是建置在企業本身的機房中，UPS負載與整體用電規畫也是要注意的。

綜觀上述各種優缺點，以及建置時可能會遭遇的狀況，這種高密度伺服器的設計，仍能夠解決許多機房內空間不足的問題，至於磁碟空間不足，或操作管理不便等，可以設法搭配其他解決方案，如此一來依然有採購的價值。文⊙林郁翔




看大圖


看大圖