叡揚深植AI與LLM實戰底蘊，形塑產業數位轉型最佳路徑

眾所周知，2023年因LLM迸出AI熱潮，驅使企業無不積極投入AI應用探索。如今時隔一年多，叡揚與所有企業一樣，也亟思針對不斷推陳出新的LLM，發展出穩定可行的方法，能夠針對不同情境選用最適切LLM組合架構。

有感於自身不論針對LLM、LVLM，皆已累積豐富的POC實戰心得，甚至開始加入叡揚應用系統當中，相關研發探索與應用情境，著實值得與企業界廣為分享；為此叡揚於日前盛大舉辦AI Solutions Day，將主題定調於「AI策略精準制定」，期望藉以帶動拋磚引玉效應，加速企業AI推動速度與成效。

分享務實對策，引領企業強化AI／LLM治理

叡揚資訊董事長張培鏞致詞表示，鑒於AI／LLM議題火熱，許多企業急欲探索其運用之道。促使叡揚打破自身慣例，在2024年鎖定AI主題舉辦大會，分享AI務實對策見解。

談及生成式AI（GenAI），儘管初期不少人對Prompt備感驚艷，但漸漸發現有不盡如人意之處，譬如幻覺。叡揚甚早關注Prompt提示工程，也深知它有幾大問題，一是能耗過高，二是有權限議題、並非人人可隨便下任何Prompt提問。顯見企業要發展GenAI、要下Prompt，必須結合權限控管，亦需優化「LLM＋Prompt」用法，藉以降低能耗。

所以叡揚於去年底（2023）提出AI Agents概念，當中援引其37年來發展企業營運資訊系統的核心思想，系統由專家開發、由全民使用。故可交由專家做出對話機器人或AI系統，並給出Prompt方向指引，引導同仁完成輸入，再由對話機器人聰明運用Prompt和LLM溝通。此LLM須經過Fine Tune、RAG，且可以是眾多小模型，負責為使用者生成最佳解答。

針對上述運作過程當中的治理議題，叡揚正展開實作，預計近期推出第一版AI Gateway方案，值得期待。

叡揚資訊舉辦AI Solutions Day匯聚企業界及學術界代表。圖左起為台灣鈣鈦礦科技股份有限公司 陳來助董事長、中華民國全國工業總會 呂正華秘書長、叡揚資訊 張培鏞董事長、

中央廣播電台 楊憲宏主持人、資策會軟體研究院 蒙以亨院長、叡揚資訊 陳世安總經理。

以LLM助攻數位轉型，搭配Agents加速企業AI發展

緊接下來，大會密集鋪排9場議題，從叡揚的角度，期望匯集內外部專家的真知灼見，串聯為企業AI／LLM應用發展的知識饗宴。

身為「數位轉型碰上生成式 AI」一書作者的國立成功大學特聘教授兼成大醫院健康數據資源中心執行長蔣榮先，強調GenAI是加值技術，而顛覆產業的科技，但由它觸動的產業化AI效應，足以重塑製造、服務、醫療…等諸多領域的潛力。他提醒企業，疫後產業戰場的入場券是「數位轉型」，而產業數位轉型的幫手是「AI＋GenAI」；企業應擁抱數位工具，儘速達標一次所員工皆有感的里程碑，並以數位轉型來想像一張改變企業未來的深遠藍圖。

國立成功大學蔣榮先教授分享以生成式 AI 助攻數位轉型

資策會軟體研究院院長蒙以亨認為，人機協作時代已來臨，企業運用AI的模式，將從Embedding、Copilot模式，推進至Agents、甚至Multi-Agents模式。針對具高機敏性或運用於資料生成者，皆會落在Edge AI發展模式，有賴企業打造Enterprise LLM（BYOG），開創資料不外洩、應用更廣泛妙效。

資策會軟體研究院蒙以亨院長分享生成式 AI 之 BYOG 企業應用發展

叡揚資訊創新研發中心王麒詳，闡述如何以「組合小模型解大問題」作為AI落地發展路徑。除了著重在「LLM＋Rag」強調該項技術並不只是單純將兩項技術整合就可以導入到場域使用，這些整合的服務都要藉由許多不同的小方法或小模型使其達到理想的效果。其中除了利用(LLM or AI Gateway)作為彙集Request、執行Dispatch的樞紐，如何提升檢索的效果與生成內容結構的穩定，都會大幅影響服務的準確性及穩定性，例如採用不同的Chunking Strategy、導入Advanced Retrieval等都會是差異性的關鍵點。另一方面，叡揚資訊也呈現在電腦視覺應用的領域上，有效利用小模型來達到預期目標，甚至在任務上的穩定性也會比大模型來的更佳，藉此反應，LLM確實是很好的模型，將很多應用帶向另一個層次，但也從中觀察到並不是所有的任務都須依靠LLM等大模型才可以達到好的成效，而是根據應用的場域來進行適當評估，才可以在有限的資源下發會AI帶來的最大效益。

藉由GenAI加乘多元應用，有效突破壯世代挑戰

叡揚資訊未來平台發展事業群資深經理林志峰說，早在2019年叡揚即預見未來Agents蓬勃發展，屆時企業必須通盤考量一致性、效能、完整性要素，按標準做法來發展智能助理。為此叡揚提出C.ai工具平台，訴求讓管理者自主設計各類Agents，完美融合全員AI與企業最佳實踐。

接續登場開講的叡揚資訊公文暨服務管理直屬事業處副處長吳錦紅，訴說如何藉助AI開啟智慧公文新視野。叡揚利用最適合公文的訓練手法，使其智慧助理小鯨結合GenAI應用，形成公文Copilot，輔助使用者加速執行撰稿、簽核與檔管。

叡揚資訊創新協同事業處副處長呂秀桃，介紹如何以KM加乘LLM，建構企業專屬智能軍師；無需下達精準關鍵字，就直接由KM系統提供參考解答，甚至進而生成知識重點摘要、分析多篇文件內容的差異等。

叡揚資訊前瞻技術服務事業處資深專業顧問江建廷，因應未來壯世代員工居多的企業挑戰，建議可併用影像視覺理解（VDU）搭配 LLM，克服傳統OCR侷限，促使文件影像理解再進化，解決紙本財報因傾斜／印痕、筆跡、打孔／摺橫、直式橫式、單頁雙頁、大小括弧、有無格線、會計科目過長而換行…等不易準確識別問題，利用AI技術協助資料彙整登打等業務，提升整理資料處理效率，減少人力耗費。

來自群聯電子的技術長林緯指出，基於安全、自主、可控，LLM落地成必趨勢，但企業憂心須為此投入巨資。GenAI機器貴，在於HBM記憶體價格高昂，每Gigabyte售價約200美元；為此群聯打造aiDAPTIV+創新架構，讓GPU不僅兼可使用HBM及系統的DRAM與NAND Flash，而NAND Flash要價僅為HBM千分之一，有助大幅降低GenAI進入門檻。

群聯電子技術長林緯分享私有化生成式人工智慧的秘密武器：群聯 aiDAPTIV+

壓軸講師為叡揚資訊雲端及巨資事業群產品總監田欣，以手寫發票辨識為應用場景，探索如何善用雲端容器化架構來設計實現 Scalable Solution。由於雲端服務需要高度考量服務算力的成本與速度，並從中取得平衡，掌握尖峰期與離峰期的需求調配。運用服務容器化(docker)的效益，透過腳本建構及監控管理，提供高效率服務且同時具有附載平衡的成果。會中展現實際處理數據，轉移成 Scalable 架構後，可以比傳統架構 CPU * 2 的主機大幅節省了 82.12% 的時間，且可以隨時根據服務需要，實現最佳的服務品質。

叡揚資訊講師群與資策會軟體研究院院長(中)、
叡揚資訊董事長張培鏞（左四）、中央廣播電台 楊憲宏主持人

總體來說，得力於叡揚AI與產品跨團隊相互激盟試錬，已開創出許多兼具高性能、高CP值的AI／LLM落地應用典範，值得產業界借鏡學習。