剖析2種Ethernet Fabric簡化網路架構的關鍵作法

雲端資料中心動輒數千臺伺服器，在傳統的三層式網路架構中，當兩臺位於不同VLAN的伺服器彼此要傳遞封包時，必須垂直行經核心層的L3交換器，無法直接透過存取層的L2交換器做水平傳輸，加上STP協定為了防止迴圈，而封鎖住部分的實體線路，導致頻寬降低，使資料中心的網路運作更沒效率。

目前市面上出現的Ethernet Fabric作法主要可分成2種，分別為支援存取層交換器自動尋徑的2種協定，以及打破網路層級概念的Juniper QFabric。

TRILL和SPB協定將路由協定添進L2網路

第一種作法從存取層著手，將IS-IS路由協定運用在L2內部網路當中，讓每臺L2存取層交換器都擁有路徑表，能夠自動尋找抵達目的端的最佳路徑，來橋接同一個VLAN當中的不同交換器節點。這樣不僅可以支援L2水平傳輸流向，還可以取代STP協定，讓多條實體線路同時運作，提升頻寬利用率。另外，當網路拓墣變更時，L2交換器會自動更新路徑表，將部分流量移轉至備援用的傳輸路徑，使資料中心網路具備自動復原的容錯能力。

實現這種作法目前有2項協定為主，包括網際網路工程工作組織（IETF）提出的多鏈路透通互連（Transparent Interconnection of Lots of Links，TRILL）協定，以及電子電機工程師協會（IEEE）提出的802.1aq最佳路徑橋接（Shortest path bridging，SPB）協定。

TRILL與SPB協定都是在L2網路中加入IS-IS路徑演算的路由協定，讓交換器自動計算L2網路拓墣當中的最佳路徑，但這兩種協定的實作方式不同，各有優缺點。

TRILL協定增添新的標頭於MAC訊框（Frame），用來區別同一個VLAN的不同節點。支援該協定的交換器不需要透過人工設定，就會自動計算出網路當中所有VLAN的路徑組合，最多可支援4096個VLAN的路徑組合。交換器傳送封包之前，可依據跳躍次數、可用頻寬、延遲時間與其他測量基準，自動計算出發送點到目的端的最佳路徑，當網路橋接節點的連接失效時，還可以迅速啟用可用的連接路徑。

雖然自動計算路徑及擴充能力較佳，但TRILL協定改變了訊框格式，無法相容於現有的硬體設備與維運管理及維護（OA&M）協定，企業必須汰換硬體設備與網管工具，才能支援TRILL協定的運作。

而SPB協定仍遵循標準的MAC訊框格式，透過IEEE 802.1ah標準建立MAC-in-Mac機制，將原先Mac位址封裝另一層Mac位址，來支援L2路由機制。不同於TRILL協定的交換器自動計算出網路拓墣當中最多4096個VLAN的路徑組合，SPB協定的交換器必須經由人工設定，才能獲得自己所屬VLAN的路徑表，而且最多只能支援16個VLAN的路徑組合，擴充能力較低。

不過，SPB未改變訊框格式，優點是不需要改變現有的OA&M協定，硬體設備只要支援IEEE 802.1ah標準，就能支援SPB協定，缺點是計算路徑及VLAN擴充能力都不及TRILL協定。

這兩項協定究竟誰會成為標準，還沒有定案，網通業者紛紛選邊站，思科Fabric Path、Brocade虛擬叢集交換技術（Virtual Clustering Switching，VCS）產品採用類似TRILL協定的作法，也宣稱未來將支援TRILL協定，而華為、Avaya和Alcatel-Lucent將支援SPB協定。

Juniper QFabric打破網路層級

上述兩種協定的實現作法去除了傳統三層式網路架構的匯聚層，縮減為核心層和存取層，但並未改變網路架構分層負責的概念，唯獨Juniper QFabric自成一局，打破網路層級的概念。

相較於階層式網路架構的封包行經多個交換器節點時，每個節點都要拆解封包查看位址，導致封包經過越多節點時，延遲時間就越長，QFabric將資料中心網路整合為單臺核心交換器，封包傳送過程中彷彿只行經一大臺QFabric節點，沿途中只需要拆開查一次位址，加快網路運作效率。

QFabric的作法是將原本在一臺核心交換器的交換背板、連結節點的介面卡板和管理平臺等3種功能獨立為3種設備，分別是擔任交換背板的QF/Interconnect、介面卡板QF/Node，以及管理平臺QF/Director。

每臺QF/Node沒有互相連結，直接以40GbE光纖線路直接連結QF/Interconnect機箱，機箱上方設置如同控制器的QF/Director管理平臺，以GbE乙太網路介面連結QF/Interconnect和QF/Node。

這3種設備各司其職，只要缺少其中1種設備，就無法讓QFabric運作。QF/Director不負責傳送封包，只統一制定路徑表及管理政策，再派送給每一臺QF/Node，當網路拓墣變更，QF/Director會統一更新路徑表，再重新派送，讓QF/Node傳送封包時，能夠自動選出最佳路徑。

而QF/Node負責尋找抵達目的端的最佳路徑，同時擔任QF/Interconnect機箱的介面卡板。但是QF/Node設備間彼此不互連，而是直接將設備端的流量傳送到QF/Interconnect機箱，在該機箱內集中交換流量，再將流量傳送到目的端QF/Node，網路封包不需要再次查表，就能將抵達目的端設備。

相較於其他的網路架構每經一個交換器就要查表一次，在QFabric網路當中，封包只需要在第一臺QF/Node查表一次，後續經過的QF/Interconnect和目的端QF/Node都不必查表，所以能減少傳輸延遲的時間。

以設備的差異而言，QF/Interconnect不同於一般核心交換器，不提供L3路由功能，只負責統一移轉流量給另一臺QF/Node，而且QF/Interconnect也不能直接連到其他設備，中間一定要透過QF/Node連結。而QF/Node硬體本身雖然等同於L2/L3交換器，但在QFabric網路當中，轉而擔任核心交換器的介面卡板，來連結其他裝置，每臺QF/Node也不會各自擁有自己的路徑表，而是使用QF/Director統一派送的路徑表，來尋找最佳路徑。

QFabric目前最多可擴充至4臺QF/Interconnect及128臺QF/Node，總共6千個網路埠，未來會升級QF/Interconnect的晶片，持續增加可支援的網路埠數量。不過，一座QFabric網路要以40GbE光纖串接，所以要位於同一個地點。

Juniper目前只推出一臺QFX 3500機頂式交換器，可先當作一般L2/L3交換器使用，之後只要透過韌體升級，就能成為QF/Node。Juniper預計，今年第三季之後，將發表其他QFabric的新產品。

除了上述兩大類Ethernet Fabric實現方式之外，思科也有推出另一種不一樣的架構調整方式，可以利用現有產品賦予新的角色來實現網路架構簡化的效果，Nexus系列交換器採用的FEX技術整併存取層和核心層交換器，將Nexus 2000系列作為Nexus 5000和7000系列外接線路模組（Line Card Module），等同於延伸的網路埠模組，單純負責連結其他設備，再由Nexus 5000和7000系列交換器集中負責傳輸流量及管理設定等功能。

FEX技術不同於Juniper QFabric之處在於，Nexus 2000本身沒有自動尋徑的功能，無法作為獨立的L2交換器，必須連回Nexus 5000或7000才能運作。另外，每臺Nexus 5000或7000系列交換器都各自具備路徑表，沒有如同QF/Director的中央管理平臺更新及派送路徑表給所有交換器。

各家廠商實作Ethernet Fabric的方式各有不同

目前，Ethernet Fabric還未標準化，各家網通廠商的方案仍分歧不一，不過，有志一同之處在於，各家廠商都將交換器的頻寬升級為10GbE，以支援資料中心高頻寬與低延遲的需求。

比較各家網通廠商的Ethernet Fabric方案來看，思科FabricPath偏向TRILL的作法，但訊框格式不同，因而較TRILL多出3項功能，分別為可依據節點傳輸的過程，動態記錄MAC位址，來減少路徑表的容量；搭配vPC+技術，讓傳統乙太網路交換器也能連結到FabricPath網路拓墣當中；另外，還可同時切割多個網路拓墣，利於網段區隔（Segmentation）與流量管理。

FabricPath最多可擴充到16臺核心交換器機箱及32臺Edge端交換器機箱。思科表示，目前Nexus 7000系列交換器已支援FabricPath，Nexus 5000系統也將支援FabricPath，待TRILL協定成為標準，FabricPath交換器可透過韌體升級的方式支援TRILL協定。

Brocade的虛擬叢集交換技術（Virtual Clustering Switching，VCS）同樣採用TRILL作法，可取代STP協定，現有產品為VDX 6720-24與VDX 6720-60兩款。其他幾家業者的方案如Avaya企業網路虛擬架構（VENA）解決方案，產品包括VSP9000、VSP7000、ERS 8800等，將SPB協定運用在核心層與存取層交換器節點，提供L2網路的路由機制。

其他作法可支援多條線路同時運作，但無L2路由機制

有些網通廠商並沒有在L2網路施行L3路由機制，而是將Link Aggregation Groups（LAGs）技術延伸到核心層交換器，透過Multi-Switch Link Aggregation（M-LAG）或Multi-Chassis Link Aggregation Group（MC-LAG）這兩項技術，網管人員可在交換器上安裝專屬的軟體，進行手動設定，將兩臺核心交換器串連為同一臺，讓連到這兩臺核心交換器的實體線路，彷彿連到同一臺核心交換器，管理平臺也集中於其中一臺核心交換器，透過LACP協定自動匯聚頻寬，藉此來讓所有實體線路都能保持運作。

不同於TRILL和SPB協定取代STP協定，M-LAG或MC-LAG技術可同時與STP協定並用，一旦傳輸路徑發生迴圈，可自動啟用STP協定，封鎖部份的實體線路，免除廣播風暴。不過，相較於TRILL和SPB協定能夠擴充到多臺核心交換器，M-LAG與MC-LAG最多只能擴充到2臺核心交換器，擴充能力有限，而且並未讓L2交換器具備自動尋徑的功能，來支援水平傳輸。先前已有多家網通廠商推出獨有的作法，來串連兩臺核心交換器，包括思科VSS、HP IRF、Avaya RSMLT等。

另外，Alcatel-Lucent和Extreme還未採用TRILL或SPB協定，先以MC-LAG和M-LAG技術，將兩臺核心交換器串連為同一臺，支援存取層和核心層之間的多條傳輸路徑可同時運作。Alcatel-Lucent應用流暢網路（Application Fluent Network，AFN）方案透過MC-LAG技術串接OmniSwitch 6900機頂式交換器與OmniSwitch 10000核心交換器；Extreme的Open Fabric方案則以M-LAG技術串接Summit X670機頂式交換器及BlackDiamond X8核心交換器。

無論TRILL、SPB協定或QFabric都未標準化，各家網通廠商的Ethernet Fabric解決方案不能互通，也較難相容於現有的網路設備，導致企業汰換成本高昂，且會被特定廠牌綁死，未來待Ethernet Fabric的技術標準化之後，企業採用意願才可能提升。

Ethernet Fabric技術架構比較

Ethernet Fabric技術目前分為兩種類型，第一種是思科、Brocade、Avaya、Extreme和Alcatel-Lucent等多家網通廠商將支援的TRILL或SPB協定；第二種則是不歸屬任何協定的Juniper QFabric，兩者的運作方式不同，使設備連結方式、管理平臺與傳輸介面也不同。

(看大圖)

TRILL vs. SPB

TRILL和SPB協定都是將IS-IS路由協定應用於Layer 2資料鏈結層，讓L2存取層交換器能夠自動尋找最佳路徑，不過，由於兩項協定的作法不同而各有優缺點。TRILL協定計算路徑與擴充的能力較好，但需要改變硬體設備與IEEE 802.1ag維運管理標準；SPB協定遵循IEEE 802.1ah標準，只要硬體設備支援該標準就能運作，也不需改變維運管理標準，但計算路徑與擴充的能力不及TRILL協定。

Ethernet Fabric解決方案大比較

(看大圖)

相關報導請參考「Ethernet Fabric：網路架構簡化的新變革」