GAI品管是門新技藝

今年看到的GAI浪潮，開始跟去年有很大的不同，臺灣企業不再擔心生成式AI的幻覺風險，轉為正面思考，想辦法找出最適合生成式AI發揮的場景。

GAI浪潮關注焦點的轉向，不只臺灣，國外也是如此，許多企業不再一昧追逐大型語言模型的規格和效能比較，轉而更聚焦於尋找有高價值效益比的應用場景。

科技巨頭依舊不斷推出更強大的LLM模型和GAI產品，但光是基礎的GAI開發工具和框架，已經可以讓企業進行各式各樣的驗證，甚至打造正式服務。我們年初的CIO大調查顯示，3成臺灣大型企業積極投入GAI的POC驗證，今年可說是企業GAI的POC之年。

最近一個月，我更拜訪不少企業，採訪他們嘗試生成式AI應用的成果。不約而同，他們都看上了提示工程的威力，不需要太多軟體開發知識，連非技術人員也能運用提示命令，打造出很有生產力的GAI應用。

有家醫學中心就打造出多款不同特定用途的GAI助手，從護士、醫生、藥師到營養師，都因此改善了特定繁瑣工作的效率，省下了不少時間，例如他們用GAI生成護理病摘的草稿，幫日班護士整理一整天所有負責病人的照護摘要紀錄，再由真人護士確認後才存檔，就縮短了不少交班的時間。

光是在7月，全院超過5萬人次使用，使用人次在半年內翻了一倍，這家醫院的醫事人員真的感受到這些GAI助手的效益，越來越願意在工作流程中使用。

讓我驚訝的是，不只是用量的倍增，而是結合了提示工程、HIS系統串接和簡單程式碼處理之後，可以讓GAI產出內容中的數字，統計到7月為止，一次都沒有出錯。不論是病摘中提到的病人身體狀況，診療數據，服藥紀錄，檢驗結果數據，都沒有出錯。甚至，他們幾乎靠提示工程，就能做到大部分的效果。他們的經驗，打破了我對生成式AI的擔心，有方法可以做到高度的準確性。

另外有兩家金控的GAI開發成果，也開始展現出效益，不只找到有價值效益的內部場景，其中一家還將GAI用於對外正式服務。

Line臺灣則有多位工程師在我們剛結束的Hello World開發者大會上，分享了打造購物平臺背後推薦系統的關鍵，也提到在傳統ML的特徵工程階段，用LLM來幫忙萃取商品規格等關鍵資訊，或是用LLM來強化對ML的可解釋性。這是iThome 1201期封面故事「Line購物推薦系統大剖析」的亮點之一。

不過，這些企業也都提到，提示工程對於傳統軟體開發流程帶來很大衝擊，甚至有時候會扭轉開發人員在GAI專案中的角色。

因為提示工程的門檻很低，人人都可以下指令，但只要指令稍有增減，也會產生不一樣的生成結果，需要反覆檢查，來確保生成內容的品質。再加上這些LLM生成的結果，高度貼近業務場景，需要領域知識豐富的資深業務或使用者，才有能力判斷好壞，有時只靠IT都無法辨識。這就導致，IT需要與業務人員來來回回，反覆驗證LLM生成的結果，互動次數遠高於敏捷開發的頻率，甚至有資訊主管認為，在生成式AI應用開發中，業務人員才是開發的主角。如何讓忙碌的業務老手，加入開發流程，分擔起開發責任，是一大挑戰，光是找到非技術人員也擅長的測試案例溝通工具，就不好挑選。

若是更複雜的情況，專案中的不同角色，業務單位、PM、開發成員，人人都能自己手動修改提示，更容易讓LLM生成結果的品質上下波動、時好時差。

針對這個新挑戰，每家企業各自發展出他們自己一套GAI開發和提示工程管理作法，有的靠熱情的資深使用者，發揮工人智慧的彈性，有的則調整IT與業務的協作方式，還有想要大規模應用的企業則是建立標準化的品管測試流程，或像Line則善用開源工具建立LLMOps管理平臺。

這些作法雖然不同，都是依據各自GAI應用情境、效益期待、人才和軟硬體資源而衍生的好方法，都值得想要運用GAI的企業參考。他們各自發展出適合他們自己的GAI品管作法，不只是借重技術，甚至是需要講究運用的藝術。

但最重要的是，從這些GAI先行者企業的實戰經驗，可以看到，生成結果的品質控管，將是打造GAI應用的關鍵課題。GAI品管，也將是企業IT需要學習、鍛鍊的新技藝。

 相關報導