Dell x 邁達特 x APMIC 發布新一代繁體中文版的大語言模型解決方案

生成式 AI 時代來臨，無論是否有程式或技術背景的工作者，都將使用 AI 來發揮創意或生產力，而如何達成這樣的願景更成為新時代中的顯學。近期一份麥肯錫報告揭示 ，超過 70% 的企業開始大量於各項業務中使用AI，包含人資、財務、研發、內容創作與行銷等，如何透過適當的AI 模型將企業內部的資料進行整合、治理，進而讓每個部門都能應用，成為每個企業迫切需要找到的答案。

有鑑於此，每一間企業都需要一個屬於自己的AI大腦，來整理自己的資料、訓練屬於自己的企業競爭力。看見台灣客戶對於AI的大量需求，以自然語言（NLU）技術出發的APMIC，致力於為客戶打造基於大型語言模型的AI解決方案，近日宣布與戴爾科技集團（Dell）以及台灣上市公司邁達特共同提出為台灣企業而生的繁體中文解決方案：「CaiGunn 開講」X 「Dell PowerEdge 系列」高效能應用程式伺服器。Dell 過去以資料儲存見長，以 The Dell AI Factory with NVIDIA 的概念，整合 Dell 資料儲存技術和 APMIC 的模型，再結合 NVIDIA 的算力，完備儲存、算力、模型的黃金三角，盼為台灣企業帶來最接地氣的對話式AI機器人，讓企業內每個員工無論是否具備工程背景，都能輕鬆成為AI詠唱師。
Dell PowerEdge XE9680

在此解決方案中，APMIC的「CaiGunn開講」70B*2 v1版本模型，在各項AI模型評測資料的分數上表現亮眼，在 TMMLU+ 的平均分數為 67.53，比 GPT4-turbo的60.34 更高， 亦高於 Breexe 模型的 48.92 分以及 TAIDE 的39.03。在「CaiGunn開講」的平台上，使用者可以匯入各種多元的企業資料，包含Word、PPT、Excel等不同檔案類型，平台具備完整資料治理的精神，將自動在企業匯入大量資料之後進行資料前處理，將文本處理成大型語言模型（LLM）可以使用的內容，同時平台也內建檢索增強生成C-RAG（CaiGunn Retrieval-Augmented Generation)的功能，使用者匯入大量的企業資料和文本，就能自動啟動RAG，快速查詢過去的經過整理的過去資料。同時，CaiGunn還能進行多模型、多資料、多個提示語的不同管理功能，使用者完全不需要撰寫程式，就可以開始跟電腦輕鬆 CaiGunn（開講；台語語意為聊天)。

在此過程中，Dell 則肩負了提供相應的硬體、資料儲存的任務，扮演著 AI 工廠（AI Factory）的角色。在今年 COMPUTEX 2024 中，APMIC 也展示了其 CauGunn 搭配 Dell PowerEdge XE9680 AI伺服器的效能，能夠讓原本 GPT4 每個 Tokens的0.0027 台幣，降低到每 Tokens 的 0.00008 台幣，導入成本大幅降低超過60%以上。與 Dell 、邁達特攜手，APMIC 的 AI 模型得以擁有極佳的硬體資源，一同讓AI在企業內部快入落地。AI 推論的部分，企業可採用 Dell PowerEdge 760XA 機器，微調的部分採用 Dell PowerEdge XE9680 或 XE8640 來進行。整合 Dell 的硬體與 APMIC 所打造的模型，企業可以即刻擁有一個「插電即用」的大型語言模型平台，實現企業內部的每個人，都可以透過自然語言做溝通，用 AI 為企業產生價值。