【高效能運算環境資料傳輸新標準】100Gb與200Gb InfiniBand躍上檯面

在高效能運算（HPC）領域當中，除了傳統的數值分析、模擬等應用，在AI、機器學習等新興需求的帶動下，應用面向與規模也隨之不斷擴大，連帶的，對於資料傳輸吞吐量的需求也是有增無減，同時，也讓InfiniBand這類主要用於高效能運算環境的資料傳輸技術，有了迅速的發展。

5、6年以前，56Gb頻寬的FDR，還是InfiniBand最普遍的規格，不過當100Gb的EDR規格於2014年出爐後，短短幾年內就在高效能運算領域普遍使用。緊接著200Gb頻寬的HDR規格也在2017年問世，並很快就獲得應用，以剛於2019年6月發布的最新版Top 500超級電腦名單為例，其中，便有4座採用200Gb HDR InfiniBand作為互連架構。

負責制訂與維護InfiniBand標準的IBTA組織（InfiniBand Trade Association），也已經規畫了接下來的發展路線，預定在2020與2023年以後，陸續推出400Gb的NDR，以及1Tb等級的XDR規格。

InfiniBand網路產品主要的供應商，是剛於今年稍早為Nvidia併購的Mellanox，可提供100Gb EDR與200Gb HDR的HCA介面卡與交換器。另外，Mellanox也與Nvidia合作，推出整合了100Gb EDR介面的DGX-1深度學習應用設備。

InfiniBand vs. Omni-Path的競爭

Intel原本也是InfiniBand網路設備重要供應商，不過，在QDR之後，與Mellanox出現分歧，因該公司在2013年左右曾推動QDR-80，對抗Mellanox的56Gb FDR，但沒有成功，此後Intel便淡出InfiniBand，旗下的True Scale系列InfiniBand產品線停留在40Gb QDR規格，並將高效能運算網路領域的重心，轉到Intel自身的Omni-Path Architecture（OPA）架構上。

2015年開始推出產品的Omni-Path，是一種類似InfiniBand的低延遲、高頻寬傳輸架構，目前可達到100Gb頻寬，與InfiniBand的100Gb EDR相同，在低延遲與QoS方面有所改進，還與Intel處理器有更深的整合，在交換機的埠數密度方面也有優勢，可達到1U/48埠，同時期的InfiniBand交換器只有1U/36埠。

但後來InfiniBand也有所改進，不僅推出新一代200Gb HDR規格，還有1U/40埠的200Gb HDR交換器產品，若搭配splitter纜線使用，將可在1U空間提供80個100Gb EDR埠。

目前在高效能運算領域，InfiniBand還是居於明顯領先，並有著更為成熟的優勢，但Omni-Path在技術規格上有其優點，並憑藉Intel的低價策略占有一席之地，預期這兩種規格的競爭，還會持續相當長的時間。

以高效能運算領域最具代表性的Top 500超級電腦排行榜來說，參照Mellanox的統計的2018年11月Top500排行結果，在Top500超級電腦採用的互連架構中，乙太網路是比重最高的一種，超過250座系統採用，占了一半以上，InfiniBand則排名第2，有130多座系統採用，至於Omni-Path則是第4名，有40座多系統採用。

整體來說，即使在超級電腦領域，乙太網路仍是最普遍的傳輸架構，若進一步細分，則可以發現在採用乙太網路的250座系統中，有130多座是採用25Gb以上的高速乙太網路，其餘120座則是10Gb以下的低速乙太網路。

不過，若只考慮Top500中效能最高的前100套系統，我們可以發現，在這些頂級的超級電腦系統中，乙太網路就已不見身影，而是InfiniBand、Cray與Omni-Path這些架構三分天下。其中又以InfiniBand獨占鰲頭，有40套系統採用，Cray與Omni-Path各有20多座系統採用。

 1   2   3   4   5   6