技嘉科技頂尖本地端 AI 訓練解決方案 GIGABYTE AI TOP 高效智慧運算觸手可及

在人工智慧技術發展飛速的時代，企業越來越仰賴人工智慧模型來推動創新，從語音助理到影像辨識，人工智慧模型正快速重塑各行各業。然而，隨著這些模型變得更加龐大複雜，本地端訓練模型所需的運算資源也隨之增加，傳統硬體已經無法滿足現代需求。

技嘉科技（GIGABYTE）於今年 COMPUTEX 首創可透過桌機進行 AI 地端訓練的解決方案 AI TOP，突破傳統 AI 運算需求大型機房的限制。此方案專為中小企業、教育研究機構及有大量 AI 運算需求的使用者打造，結合強大的硬體效能及突破性 AI TOP Utility 軟體工具，讓本地端 AI 訓練不再受限於規模，實現人工智慧模型最佳化訓練。

本地端大型語言模型訓練需求上升

隨著大型語言模型逐漸被應用於商業場景，企業在進行模型微調時，面臨的各種挑戰隨之而來。模型微調過程需要大量的運算資源，尤其是高效能的 GPU 和大量顯示記憶體（ VRAM ），以支援大規模參數更新。雲端人工智慧訓練雖然擁有高可擴展性，但仍存在成本難以預測及資料隱私風險等疑慮。

面對 AI 運算需求，企業可依據不同應用情境選擇最適切解決方案。對於大規模 AI 訓練需求，技嘉提供全系列高效能伺服器產品；而針對中小規模的模型微調與開發測試需求，技嘉創新推出 AI TOP 解決方案，讓企業和研究機構能夠以更經濟實惠的方式在本地端進行 AI 訓練。AI TOP 不僅能更好地保護敏感資料，更提供靈活的運算資源配置。實現具成本效益的本地端人工智慧模型訓練。

GIGABYTE AI TOP 是一款專為本地端 AI 訓練打造的軟硬體解決方案，提供企業高效且經濟的大型語言模型訓練環境。這套解決方案整合優化後的硬體效能與 AI TOP Utility 工具，支援多種主流開源大語言模型，並能夠針對不同訓練需求進行最佳配置。

強大的硬體效能使 AI TOP 在本地端 AI 訓練市場脫穎而出。技嘉 AI TOP 硬體系列產品全面針對 AI 訓練工作負載優化，不僅能源效率是一般桌上型電腦的 7.7 倍，更透過技嘉主板獨家的 BIOS 最佳化設計，確保系統在長時間高負載訓練下維持穩定性能。

AI TOP Utility 2.0革新升級，支援大型多模態模型訓練

GIGABYTE AI TOP 內建的 AI TOP Utility ，是一款專為本地端人工智慧模型微調而設計的工具，技嘉更於 COMPUTEX 首發後的四個月，再度發表升級版本 AI TOP Utility 2.0 ，較上一版本帶來一系列突破性升級。藉由更高效的運算能力與成本效益，讓企業、研究機構及 AI 開發者都能夠以最佳方式優化並應用人工智慧模型。

AI TOP Utility 2.0 可支援高達 4,050 億參數的超大型語言模型，滿足目前市面上 Llama 等知名開源模型的訓練微調需求。無論是進行新模型建置，抑或是針對現有模型進行微調，AI TOP Utility 2.0 的硬體效能和軟體工具都確保使用者在本地端環境可獲得極佳的訓練效果。

此外，AI TOP Utility 2.0 最新升級支援 RAG（ Retrieval-Augmented Generation ）技術，讓使用者能在正式訓練前，透過知識檢索語整合功能預先驗證模型適用性。此技術不僅能確保訓練方向的準確性，更可透過外部資料的整合提升模型效能，特別適合於需要針對特定領域知識或快速變動資料進行模型優化的的應用場景。

AI TOP Utility 2.0 的更新還支援大型多模態模型（ LMM ）訓練，使用者現在不只可以訓練文字資料，還可將影像和視覺資料納入模型訓練中，打造具備跨模態理解與生成能力的 AI 應用。此功能讓 AI TOP 的應用更加廣泛，無論是影像分析、跨模態內容生成，還是結合文字與視覺的複雜任務，都能在本地端完成訓練。

隨著模型規模的擴增，對於計算能力的需求也隨之增加，AI TOP Utility 2.0 創新支援透過一般乙太網路和 Thunderbolt ™ 介面輕鬆連接多臺 AI TOP 設備，打造強大的叢集運算環境。這項突破性設計不僅避免了傳統 AI 叢集對機房的依賴，更可直接使用一般家用電力系統，讓使用者能以最便利的方式建制多機分散式運算環境，加速模型訓練進程，大幅提升運算效率，更快實現 AI 應用成果。

透過乙太網路或 Thunderbolt ™ 可連接多台  GIGABYTE AI TOP 設備以提升運算效率

GIGABYTE AI TOP 強大硬體應對高負載運算游刃有餘

對於本地端模型微調來說，穩定性至關重要，特別是在進行長達數小時甚至數天的訓練過程中，任何的硬體故障或是中斷都可能嚴重影響訓練進度。技嘉出色的硬體穩定度能確保使用者專注於模型微調，不需要顧慮硬體問題。

GIGABYTE AI TOP 的每個元件 — 從主機板、SSD 、電源供應器到機殼都專為應對大型語言模型訓練的高強度需求而精心設計。其配備最新一代 Intel 和 AMD 主機板，諸如 Z890 AORUS XTREME AI TOP 、Z890 AORUS MASTER AI TOP 、Z890 AI TOP 和 X870E AORUS XTREME AI TOP ，支援雙顯示卡配置和 Thunderbolt ™ 5 技術，為本地端人工智慧模型訓練提供卓越效能。

技嘉 10 月發表之最新世代 Z890 及 X870E AI TOP 系列主機板

此外，AI TOP Utility 2.0 所帶來的記憶體卸載技術，將大量資料轉移至 SSD 處理，有效降低 VRAM 及 DRAM 負載，以提高運算效率並降低硬體成本。AI TOP 搭載的 SSD 擁有高達 7,200 MB/s 的讀取速度和 6,500 MB/s 的寫入速度，確保高速資料處理，並提供 20 倍於常見企業級 SSD 的寫入總量( TBW )，以應對處理龐大資料和進行複雜模型訓練時，所需要的高頻讀寫行為。

GIGABYTE AI TOP 還搭載 AP1600TM PG5 電源供應器，支援最多 4 張 PCIe Gen 5 顯示卡，並經過 80 Plus 鈦金認證，確保電力效率和穩定性。結合 AORUS C500G AI TOP 和 GIGABYTE C701G AI TOP 機殼優異散熱設計，即便系統在高負載人工智慧訓練下，仍可以維持最佳散熱和運作效能，同時支援雙電源配置應對高度電力需求。電源系統內建的 Power Meter 功能，讓用戶可從 LCD 顯示器上，即時查看電力消耗和累積用電量，協助使用者更有效調度系統負載，優化能源使用效率，從而實現更佳的碳排放管理。

GIGABYTE AI TOP 電源供應器搭載 LCD 顯示器，可讓使用者即時查看電力消耗及累積用量

總結而言，GIGABYTE AI TOP 不僅具備卓越的硬體效能和靈活配置選項，更結合多項軟體技術，如多模態模型支援和 RAG 技術，徹底提升本地端人工智慧模型微調的效能和效率。從高效電源管理到 SSD 高速資料處理，這套解決方案可應對最嚴苛的人工智慧訓練需求。技嘉更提供多款自 1,699 美元至 2,499 美元適用於個人、中小型商業及教育研究機構使用之機型，對於需要兼顧隱私安全、彈性與合規性需求的使用者，GIGABYTE AI TOP 是絕佳的解決方案。更多 GIGABYTE AI TOP 產品相關訊息請見https://bit.ly/GIGABYTE_EVENT_AI_TOP