以高效能、高擴展性與簡易特色,而在物件儲存領域聲名鵲起的MinIO,今年8月以其物件儲存平臺為基礎,推出針對AI應用的整合套件參考架構MinIO DataPOD,宣稱使用標準的x86伺服器硬體與乙太網路,就能滿足AI訓練工作所需的儲存容量擴展能力,以及高傳輸頻寬。
MinIO成立於2014年,2016年推出物件儲存軟體平臺的第1個版本,能以開源的免費形式與付費的商用授權形式使用。相較於多數物件儲存平臺都是以擴展性與可用性為訴求,MinIO透過結合分散式記憶體快取層與NVMe SSD等技術,從而兼顧高效能需求。
考慮到傳輸效能的需求,當前的針對AI應用的儲存架構,是以平行檔案系統與分散式檔案系統為主流,例如Nvidia AI整櫃型系統SuperPOD與BasePOD所認可搭配的儲存平臺,大都是這類形式,如DDN的A3I,IBM的SSS,WEKA的WEKApod,NetApp與BeeGFS的組合等,而很少有純物件儲存系統。
新興的MinIO則一反主流架構,聲稱其物件儲存平臺只需搭配標準伺服器硬體與乙太網路,無需使用複雜的InfiniBand網路,或是GPU Direct Storage(GDS)這類專屬傳輸技術,就能滿足AI應用的傳輸效能要求。
以MinIOPOD儲存系統的搭配為例,企業可使用下列3種經過MinIO驗證的2U伺服器作為基本節點單元——Dell的PowerEdge R761、HPE的ProLiant DL345 Gen 11,Supermicro A+ 2114SWN24RT。然後以12臺儲存伺服器節點組成一座機櫃,再由20座機櫃組成一套含有240臺儲存節點、可提供100PB容量的儲存環境,由2層式的100GbE乙太網路提供節點互連。
在MinIO驗證過的架構中,一套8節點MinIO儲存叢集可提供46.5 GB/s與34.4 GB/s的讀取與寫入傳輸率,32節點叢集則擁有349 GB/s與177.6 GB/s的讀取與寫入傳輸率,提供近乎線性的增長能力。因此,在更大規模的DataPOD,至少可提供TB/s等級的傳輸率。MinIO聲稱用戶端實證顯示,300節點的讀取效能可達2.75TB/s。以這樣的數字來看,確實不亞於平行檔案系統結合GDS架構的傳輸效能。
MinIO以其物件儲存軟體平臺為核心,推出針對AI應用的參考架構MinIO DataPOD,可提供100 PB容量擴充能力與TB等級傳輸率。
圖片來源:MinIO
產品資訊:
●原廠:MinIO
●建議售價:硬體成本每月每TB預估1.5美元,MinIO軟體成本每月每TB 3.54美元
●儲存節點規格:2U儲存伺服器,單插槽64核心處理器、256GB記憶體、720TB NVMe SSD、2組100GbE埠
●機架單元組成:42U或45U機櫃,內含12臺儲存伺服器、1臺TOE交換器、1臺管理交換器
●100PB POD單元組成:20座機櫃,一共240臺儲存伺服器
熱門新聞
2024-11-18
2024-11-12
2024-11-20
2024-11-19
2024-11-15
2024-11-15