台智雲揭企業級LLM服務新進展，9月底將上線3種繁中優化的Llama 2模型

繼今年5月發表企業級大型語言模型服務（AFS）後，華碩子公司台智雲今日（9/21）再揭露新進展，在AFS中納入更多模型，不只有先前發表的福爾摩沙大模型（FFM），還有以繁中資料強化的FFM-Llama 2，包含70億參數、130億參數和700億參數的模型版本，預計9月底上線。此外，台智雲也在AFS的模型庫中新添Meta的Llama 2、Code Llama等開源模型，並預告後續將納入合作夥伴所開發的模型，提供企業用戶更多模型選擇。

新添懂繁中語境的語言模型和模型縮小新功能

進一步來說，AFS全名為AI Foundry Service，主要有2種大型語言模型的部署和推論服務，即AFS Cloud和AFS Appliance。其中，AFS Cloud為雲端託管服務，其中提供的模型是完整訓練過的，企業可透過API來使用，計價方式是依用量／小時計費。有別於AFS Cloud，AFS Appliance則是私有雲／地端部署服務，企業可下載大型模型到地端，在地端資料中心、私有雲或搭配企業5G專網來執行LLM應用。

華碩雲端暨台智雲總經理吳漢章說明，這次，台智雲在AFS的預訓練模型庫中，新添以繁中語料優化的FFM-Llama 2模型，包含70億參數、130億參數和700億參數三種版本，以及Meta原本的Llama 2、Code Llama等開源模型，此外還有先前發布的FFM-1（含7B、176B版本）、BLOOMZ（含7B與176B版本）以及Embedding等模型來供用戶選擇。

其中，Embedding模型是一種工具，能將問題轉換為向量空間，來搜尋知識庫或問答集（也就是資訊檢索），再搭配LLM來生成回答給使用者。這種生成式AI搭配知識庫搜尋的用法，屬於檢索強化生成（RAG）方法，有別於訓練模型學會特定知識的參數訓練方法。這個Embedding工具可支援批次處理，每批可處理3萬2千個Token，適合消化大文件。

台智雲技術長陳忠誠指出，Meta開源的Llama 2表現優異，相當於今年3月GPT-3.5寫程式和回答問題的能力。不過，Llama 2的繁中表現不算好，因此台智雲的目標是提高Llama 2中文能力，同時保有原本優秀的生成能力。團隊不只用中文資料優化模型，還讓模型具備角色設定功能。後來，他們比對繁中優化的FFM-Llama 2與原Llama 2，發現優化版模型可用中文回答問題，而非如Llama 2以英文回答中文問題。（如下圖）

再來，在寫程式方面，FFM-Llama 2可在程式碼中保留所需的中文，而非如Llama 2以英文呈現文字內容。（如下圖）

另外，台智雲在AFS中還新添新功能，比如能提高訓練效率的LoRA（Low-Rank Adaptation），特別適合資料量不多的企業使用者，預計10月上線FFM-Llama 2、Meta Llama 2和FFM-BLOOM系列支援LoRA。另一個新功能則是BitsAndBytes，結合了LoRA和模型縮小技術，有利於模型部署於運算資源有限的裝置。（如下圖）

專攻生成式AI，重整推4大服務

吳漢章指出，早在幾年前，華碩雲端就在思考如何創新雲端服務。近期生成式AI崛起，他們看到新契機，藉由原本儲存於雲端的知識，結合生成式AI模型，就能讓模型運用這些知識，來回答用戶各種問題，就像是第二個大腦。

再加上台智雲的算力優勢，他們在今年陸續推出生成式AI 4大服務，包括用於LLM正式環境的AFS、容器服務CCS，以及用於算力和研究的OneAI、HPC。其中，台智雲在CCS容器服務中新添了生成式AI類別，內含多種基礎模型，如BLOOM、Llama 2等，使用者可快速建立生成式AI容器。該服務以GPU每小時計費，目前台智雲的計價方式為1小時58元（臺幣）。吳漢章表示，他們接下來會上架更多開源模型，以及合作夥伴所開發的模型。（如下圖）

而HPC則提供跨節點平行運算環境，來供使用者開發模型使用。此外，OneAI是一款無程式碼平臺，提供多種AI工具，適合快速嚐鮮的使用者，來快速打造模型、管理模型生命周期。（如下圖）