中興大學聯手華碩電腦 ASUS ESC8000-E11P 打造強大 AI 算力平台

近幾年隨著 AI 技術持續進化，各領域展現出前所未有的應用，AI 已成為世界各國積極發展科技之一，擁有 AI 晶片製造能力的台灣，也透過與各大專學校合作在各領域啟動 AI 專案。身為台灣頂尖大學之一的中興大學，即參與國科會的精準運動科學研究專案計畫、TAIDE-LX-7B 大語言模型，以及教育部的原住民語言翻譯計畫等，有相當不錯的研究成果。能有如此亮眼成績，除歸功於各研究團隊的努力、齊心投入之外，提供強大 AI 算力的華碩電腦 ASUS ESC8000-E11P 伺服器更是最大後盾。
中興大學資訊工程學系主任吳俊霖指出，我們擁有全台灣最完整的資訊科學教育體系，長期投入高科技人才培育與產學合作，多年來已培育眾多電機、資訊人才，也有非常豐碩的產學合作成果。華碩電腦的 ASUS ESC8000-E11P 伺服器效能非常強悍，技術團隊也提供非常完整技術支援，整體表現讓我們非常滿意。
中興大學資訊工程學系副教授兼圖書館副館長范耀中表示，AI 專案成功與否的重要關鍵之一，在於是否有足夠算力扮演後盾。在華碩電腦的 ASUSESC8000-E11P 伺服器協助下，無論是以 TAIDE 大型語言模型為核心的神農 TAIDE，原住民語言翻譯計畫等，都展現出令人滿意的成果。我們很高興能與華碩電腦展開合作，也希望未來會有更多成果出現。

農業語料結合TAIDE 模型 神農 TAIDE 正式上線
鑑於資訊科技產業是支撐台灣經濟發展的重要支柱，身為台灣中部頂尖大學的中興大學資訊工程學系，自然將培養國家尖端資訊產業人才為職志，期盼為培養具備資訊理論、硬體、軟體、網路多媒體與資訊應用之全方位資訊人才。
吳俊霖主任負責的精準運動科學研究專案計畫，主要是透過ML 技術分析運動員的長時間訓練或比賽影片，從中找出姿勢的變化狀況，作為後續訓練與改善依據。此模型也能運用於工廠瑕疵檢測之用，目前已經有成功案例出現。至於范耀中教授負責的原住民語言翻譯計畫，則是希望建立一套AI 語言學習系統，協助原住民小朋友學習母語。

范耀中說，中興大學是台灣少數的農業大學，擁有寶貴農業知識與文獻。我們參與國科會的 TAIDELX-7B 大語言模型方式，是運用大量農業資料進行訓練，目前已推出神農 TAIDE 且正式上線服務。傳統 ChatGPT 最令人詬病之處，在於會一本正經的胡說八道。因此，我們在開發神農 TAIDE 時採用獨家設計，確保該服務只能回答有文獻依據的資料，且內容是讓一般民眾也能了解的專業知識，有助於農民解決務農過程中的問題。
前述三個專案過往都在安裝消費型 GPU 卡的個人電腦上運作，專案執行速度慢，整體穩定性也有待提升，徒增專案團隊的工作負擔。為解決此問題，專案團隊期盼能以暨定預算採購AI 伺服器，縮短前述各項專案的執行進度。在華碩電腦協助下，選擇採用 8 張 NVIDIA RTX A6000 GPU 卡的 ASUS ESC8000-E11P 伺服器。

針對中興大學需求客製化 選定ASUS ESC8000-E11P
獲得NVIDIA 認證的ASUS ESC8000-E11P 伺服器，可安裝2 顆Intel Xeon 可擴充處理器，是專為企業AI 基礎架構設計的方案。這款產品最大特色之一，在於最多可安裝8 張雙插槽的專業 GPU 卡，且可藉由 NVIDIA NVLink Bridge 協助，透過增加GPU 計算頻寬來提升效能，滿足 AI 和 HPC 工作負載。

這款功能強大的 ASUS ESC8000-E11P 伺服器，在 MLCommons MLPerf 訓練和推論基準測試的六項任務中，於資料中心封閉賽程 (Closed Division) 取最佳效能結果，效能超越具有同等 GPU 配置的其他伺服器。換句話說，即便是預算有限的中小企業或學校，也能藉有此款產品提供的強大算力，滿足各種AI 專案的運作需求。
「當時專案團隊預算在2-300 萬左右，然我們目標是尋找能購買到採用專業GPU 卡的AI 伺服器，且內建高容量的記憶體，以便符合三大專案運算需。」范耀中解釋：「只是我們對硬體規格不熟悉，一度遇到不少困難與挑戰。所幸在接觸到華碩電腦之後，專案團隊依照我們需求建議採用 8 張NVIDIA RTX A6000 GPU 卡的ASUS ESC8000-E11P 伺服器，經過 PoC 測試之後整體效能確實符合專案需求，於是決定添購改解決方案。」

AI 推論效能飆升10 倍 加速AI 專案執行速度
引進 ASUS ESC8000-E11P 伺服器之後，無論是影片分析速度或者 AI 模型推論速度比過往提升至少 10 倍以上。因為，NVIDIA RTX A6000 GPU 採用 NVIDIA Ampere 架構的 CUDA 核心，可以大幅提升繪圖運算和模擬工作流程的效能。其次，該 GPU 卡採用第三代 Tensor 核心，搭配 NVIDIA NVLink 之後，可加速運算工作負載與處理更龐大的資料集。
范耀中指出，以神農 TAIDE 為例，過往在個人電腦上執行推論時，可能要花上數十分鐘以上，回答問題時間約需要 60-70 秒以上。現今在 ASUS ESC8000-E11P 伺服器上執行推論大約僅需數秒鐘，至於回答問題時間也從過往 60-70 秒縮短到2-3 秒。不過，考量到三大專案仍然在持續進行與優化，現階段神農 TAIDE 對外服務部分仍然透過原有個人電腦執行，將寶貴AI 算力保留給其他專案。

在本次專案中，中興大學資訊工程學系對於華碩電腦的顧問服務與產品非常滿意，也規劃在 ASUS ESC8000-E11P 伺服器執行更多專案，期盼未來有更多合作機會，為台灣發展 AI 技術貢獻一份心力。