HPE儲存技術突破AI與GPU應用效能瓶頸 打造高效創新資料應用

「資料是企業的核心，創新的根基」HPE技術規劃處技術經理王烈航在2024 CCDS演講中，開場就點出資料對於現代企業的重要性。生成式AI、自然語言處理（NLP）和電腦視覺等應用的迅速普及，全球企業正面臨前所未有的資料規模爆炸的挑戰。從資料整備到模型訓練，再到推理，AI工作負載需要處理大量的多來源資料集，並同時兼顧高效能、低延遲與成本效益的需求。

而HPE憑藉創新技術與全面產品組合，為企業量身打造了一系列針對AI與GPU工作負載的儲存解決方案，結合效能、容量與靈活性，幫助企業實現資料運用的最大化價值，並在競爭激烈的數位化浪潮中脫穎而出。

資料密集時代帶來儲存挑戰

AI工作的核心在於資料，其處理不僅涉及模型訓練，還涵蓋了整個生命週期的每個階段，包括資料準備、訓練、微調和推理等。王烈航指出，不同階段對儲存系統的需求各不相同。資料整備階段需要處理、清洗來自多來源、多格式的資料，對儲存系統產生高吞吐量和兼容性的要求，此時資料湖成為理想解決方案，能整合多種資料並支援平行處理。

而進入訓練與微調階段後，儲存需求轉向高效能與低延遲，特別是在大型語言模型的應用中，需處理PB級資料集並協調數兆參數的運算。此階段儲存系統需具備快速讀寫性能，並能與GPU資源無縫協作，避免儲存瓶頸影響訓練效率。在推理階段，AI模型需要即時讀取訓練資料並進行快速運算。自然語言處理（NLP）或電腦視覺等應用對儲存系統的要求集中在極低延遲與高效讀取性能，以確保快速回應用戶需求。

從資料整備到推理，儲存系統在AI工作流程中的角色不可或缺，不僅影響運算效率，也直接決定了模型的整體效能與實用性。為了滿足複雜的資料應用需求，王烈航介紹了一系列HPE針對性強、靈活可靠的儲存解決方案，包括WEKA、GreenLake for File Storage (GL4F)、Qumulo及Scality等檔案系統，涵蓋了高效能、容量與成本之間的最佳平衡。

專為高效能AI訓練打造的平行處理檔案系統—WEKA

WEKA作為一種高效能平行處理檔案系統，WEKA以其創新的設計在 AI 訓練與微調階段展現出顯著的效能優勢。其核心技術之一是GPU Direct Storage，允許資料直接從儲存設備傳輸到GPU，繞過傳統的處理瓶頸，有效降低資料存取延遲。此外，王烈航強調，WEKA採用了平行處理架構，徹底改變了傳統序列處理模式。在傳統架構中，如資料匯集、ETL、訓練、驗證、推理和存檔等階段，需要依次完成，並且每個步驟都涉及資料複製，導致時間成本顯著增加。

透過WEKA，這些流程得以平行執行，資料無需多次複製即可直接被後續階段使用，實現零複製的處理方式。這種架構不僅提升了處理速度，還減少了資料傳輸的時間浪費。在實際應用中，WEKA成功將AI模型訓練時間從兩週縮短至僅四小時，達成了20倍的效率提升。這一突破性的表現，使得像GPT-4這樣的大規模生成式AI模型能更快速地完成訓練，極大縮短了產品上市周期，為企業帶來顯著的競爭優勢。

結合高效能與大容量的靈活儲存解決方案—GL4F

HPE GL4F建構於HPE Alletra Storage MP平臺基礎之上，專為處理資料密集型工作負載而設計，特別適合如AI/ML、高效能運算（HPC）、生命科學及媒體等應用場景。GL4F支援模組化儲存架構，允許獨立擴充儲存容量和效能，企業可以根據業務需求動態調整儲存資源，避免不必要的成本浪費。

王烈航解釋GL4F採用先進資料減量技術，包括壓縮（Compression）、去重（Deduplication）及相似性減量（Similarity Reduction）。相似性減量能以全域且精細的方式整合相似資料塊，適用於如未壓縮的時間序列資料等場景，其資料減量比可達8:1，有效降低儲存需求，同時保持高效的讀寫性能，進一步提升資源利用率。

高經濟效益的非結構化資料儲存解決方案—Qumulo

而Qumulo在處理超大規模非結構化資料時展現出高效能，運用單一命名空間設計和4KB粒度資料塊配置，實現高效的系統協作與儲存效率。其分散式檔案系統支持多節點線性擴展，即使在容量需求大幅增加時仍能保持穩定效能。同時，Qumulo的NVMe SSD快取層提供高達93%的快取命中率，結合混合儲存架構，智慧分層熱資料與冷資料，在平衡效能與成本的同時，滿足企業對高效存取的需求。

此外，王烈航指出，Qumulo特殊的儲存技術，大幅提高儲存密度並降低每TB成本。在處理9.33TB資料時，Qumulo僅占用9.49TB的磁碟空間，相較同樣的資料在傳統儲存系統中，則需占用 33.2TB。這些特性使Qumulo成為資料湖管理的理想選擇，特別適合需同時兼顧高效能與成本效益的企業，靈活的擴展能力與穩定的效能表現，Qumulo提供了一套可靠且經濟的儲存解決方案，滿足企業在資料密集型場景中的多樣需求。

HPE全方位儲存解決方案滿足各種資料應用需求

HPE針對多樣化AI應用場景提供了全面且針對性的儲存解決方案，WEKA、GL4F和Qumulo這三種技術在效能、容量與靈活性之間取得了良好的平衡，可滿足企業從高效能運算到大規模資料管理的各類需求。

王烈航總結HPE各儲存解決方案適用案例，高效能任務如模型訓練與推理優先考慮WEKA；大規模非結構化資料和資料湖管理則選擇Qumulo；而需要同時滿足容量與效能需求的場景則適合GL4F。這樣的分層策略不僅提升了系統資源的利用率，還幫助企業降低了總體擁有成本。無論是高效能運算的需求，還是大規模資料管理的挑戰，HPE的儲存方案均能提供可靠支援，協助企業在資料密集型時代實現業務的持續突破與成長。

敦新科技為HPE伺服器及儲存設備的專業代理商，提供IT投資解決方案幫助客戶轉型數位化業務，協助HPE經銷夥伴專業銷售，凝聚從基礎架構建置到儲存設備，以及資料安全到專業服務的全面銷售能力。最新各種機種及HPE專業服務，歡迎洽詢HPE事業部: 02-8978-5386，或造訪: www.dawningtech.com.tw。