隨著非結構化資料應用型態的轉變,新一代的分散式儲存平臺紛紛以基於全快閃儲存架構的高I/O效能為訴求,Quantum日前推出的Myriad平臺,也正是這類新世代物件與檔案儲存系統的一員。

Quantum在臺灣可說是個「既熟悉又陌生」的廠牌,該公司成立於1980年,迄今已有40年以上歷史,可說是當前最資深的儲存廠商之一。Quantum最初是以機械式硬碟產品起家,在1994年時曾一度成為當時全球最大的硬碟製造商,也是當時臺灣消費者最熟悉的硬碟廠牌之一,40歲以上的IT用戶大多還會對Quantum硬碟產品留有印象。但Quantum在2000年代初期退出硬碟業務,轉向備份、歸檔儲存,以及影像儲存管理領域,也自此淡出消費IT產品市場。

經由2000年代前後的一系列併購,Quantum成為主要的磁帶、備份儲存伺服器與物件儲存系統供應商之一,近來還開始進軍視訊監控儲存應用。

而我們這裡介紹的Myriad平臺,便是Quantum針對物件與檔案儲存應用推出的新產品,目前正進入早期用戶部署階段,預定今年第3季正式發布。

兼顧擴展性與效能的非結構化資料應用新需求,帶動全新儲存平臺問世

早期的非結構化資料應用,大多是相對靜態的大量資料保存、歸檔,因而早期針對非結構化儲存應用的物件與檔案儲存平臺,也都是以擴展性,以及資料可用性與耐久性為主要訴求。但近年來出現了一系列需要高I/O效能才能支撐的非結構化資料應用,例如巨量資料分析、AI、機器學習等,連帶也對於儲存平臺有了不同於以往的要求:不僅須具備高擴展性,也必須提供高效能。

Quantum旗下原本已有ActiveScale這個歷史悠久的分散式物件與檔案儲存平臺,然而,誕生於2010年的ActiveScale,屬於上一代的物件儲存平臺,主要針對資料歸檔與大容量儲存應用,擁有強大的擴充性,也兼具物件與檔案儲存服務能力,但效能表現便有所欠缺,面對Pure Storage、VAST Data與StorOne等廠商的新一代分散式物件與檔案儲存平臺,產品競爭力有所不足,而這樣的態勢也促使Quantum另起爐灶,發展了Myriad這個全新平臺。

Myriad儲存平臺的基本特性

Myriad是能原生支援物件與檔案儲存服務的分散式平臺,可支援NFS、SMB、S3等主要的檔案與物件傳輸協定,也支援Nvidia的GPU-Direct傳輸協定,以及Quantum自身的專屬用戶端傳輸協定。

在資料保護與可用性方面,Myriad提供N+2 Erasure Coding資料保護機制,可以承受2臺磁碟或節點的失效,在基本的5節點組態下,提供3+2的Erasure Coding保護架構,隨著節點數量增加,保護架構也將自動調整為4+2、5+2到10+2不等。

Myriad也能提供快照、Clone、遠端複製、Inline重複資料刪除,以及壓縮,具備完整資料服務功能。

在部署方面,Myriad採用軟體定義架構,可安裝在標準的x86伺服器上,並分為3種節點,提供前端網路管理的負載平衡節點(Load Balancer Node),用於提供儲存空間的NVMe儲存節點(NVMe Storage Node),以及用於系統部署、擴展與更新的部署節點(Deployment Node)。

其中作為核心的是NVMe儲存節點,除了提供儲存空間,也負責運行Myriad軟體。而每個Myriad儲存叢集,需要至少2臺扮演負載平衡節點的交換器(有Layer 3管理功能的100GbE交換器),1臺部署節點,以及5或10臺儲存節點,其中的儲存節點可擴展到上千臺的規模。

至於Myriad叢集的管理,則是透過單一IP位址登入的圖形管理介面來執行,這個管理介面提供了自動化的運作狀態偵測、系統修復與擴展功能,也能結合Quantum的雲端AI管理平臺,提供即時監控與資源使用分析等進階功能。

Quantum Myriad基本架構

Myriad由3種節點組成:(1)用於叢集部署與升級的部署節點,(2)運行Myriad軟體與提供儲存空間的NVMe儲存節點,(3)提供與用戶端環境介接的負載平衡節點。

圖片來源:Quantum

 

實現高效能分散式儲存的關鍵:NVMe搭配RDMA打通內外I/O傳輸

透過支援物件與檔案儲存的多協定服務能力,賦予Myriad具備支援不同環境的應用能力;而N+2的Erasure Coding與資料服務功能,賦予Myriad平臺完整的可用性與進階功能;軟體定義儲存架構則為Myriad帶來簡便的部署彈性。不過,Myriad平臺要在當前的分散式儲存領域如果要立足,還須具備高效能表現。

若要使分散式儲存系統實現高效能,關鍵在於打通內部與外部的I/O傳輸通道,首先,透過NVMe全快閃儲存架構,來為儲存節點提供低延遲、高IOPS的內部I/O,再結合RDMA網路來連結各個節點,提供高頻寬、低延遲的跨節點I/O。

在這樣的架構之下,Myriad的每一臺儲存節點,都是基於NVMe SSD的儲存架構,可以保證個別儲存節點的I/O效能。各個NVMe儲存節點再透過100GbE RDMA網路互連,藉由這種高頻寬、低延遲的跨節點傳輸通道,讓Myriad的儲存節點之間,可以高效率地執行跨節點存取與負載均衡,任一臺儲存節點都能存取叢集其他節點的NVMe SSD,就如同存取本身的SSD;而所有前端寫入I/O,也都會均衡分散給每一臺儲存節點承載。

與同類產品的對比:無共享叢集架構結合軟體定義部署

為了瞭解相近類型產品之間的差異,我們整理一份比較表,對象是Quantum的Myriad與既有的ActiveScale,以及2款新一代平臺:Pure Storage FlashBlade、VAST Data Universal Storage等的基本架構特性。

相較於ActiveScale這類上一代平臺,Myriad等新一代平臺最大不同之處,便是內部與外部I/O架構的差異。在節點內部I/O方面,ActiveScale仍採用SSD+硬碟的混合架構,且SSD只是作為快取,而Myriad等新一代平臺都採用全NVMe快閃儲存架構。在節點外部I/O方面,新一代平臺都是基於100GbE RDMA網路,而ActiveScale則是非RDMA架構的乙太網路互連。

不過,Myriad、FlashBlade與Universal Storage這幾種新平臺雖然具有相似的I/O架構,但是,在叢集架構與硬體需求方面存在關鍵差異,這也形成這些產品各自的特色。

在叢集架構方面,Myriad與FlashBlade都屬於較常見的「無共享」叢集架構(shared-nothing),每臺節點都擁有獨立的記憶體與儲存空間,能獨立回應前端的I/O存取需求。而VAST Data則採用截然相反的「解構與共享一切」(disaggregated shared everything,DASE)叢集架構,由運算節點與儲存節點等2種節點組成叢集,透過這2種節點的組合,來回應I/O存取需求。

對比兩種架構,「無共享」較為單純,用戶只需部署與管理1種節點,而「共享一切」架構則相對複雜,但擴充較具彈性,可視需要個別擴充運算與儲存節點,單一節點失效的影響也較小,只會損失該節點角色的運算或儲存資源。相對的,無共享架構的單一節點失效時,就會同時損失該節點的運算與儲存資源。

而在硬體組態需求方面,FlashBlade則是基於Pure Storage專屬的刀鋒模組與儲存模組,是完全的專屬硬體架構,VAST Data對於硬體也有特殊要求,例如,必須搭配原廠認證的SCM與QLC儲存模組。相較下,Myriad是單純的軟體定義架構,只需標準的伺服器與NVMe SSD即可,部署門檻相對低了許多,但相對地,也不像前2者可結合特殊硬體提供最佳化效能。

從另一方面來看,Myriad這種基於通用硬體打造的高效能叢集架構,也可視為新一代分散式物件與檔案儲存平臺的標準範本,不使用特殊或專屬硬體,採用通行的無共享叢集架構,都是這個領域最通行、門檻最低的架構,可作為比較同類平臺時的基準。

熱門新聞

Advertisement