企業可以跟蘋果學怎麼用GAI

生成式AI對企業帶來的第一個價值，不是GAI技術本身，而是這股浪潮帶動的企業AI創新潮。

雖然人人都感受到這股延燒全球的ChatGPT熱潮，但從企業實務角度，體會到的GAI衝擊急迫感卻不盡相同，從我們今年CIO大調查可以看到，高達5成企業認為，GAI最快一年，最慢三年才會對他們產生重大衝擊，但也有1成6的企業擔心，GAI今年（或現在已經發生）就會帶來重大改變。這股GAI衝擊急迫感的落差，也讓企業CIO今年被賦予的目標，有很大的不同。

對今年預期有重大改變的臺灣GAI首批衝擊企業來說，高達6成CIO將AI創新產品和服務、AI強化分析和決策列為2024年度目標，遠高於整體產業的4成，也更看重與AI創新相關的目標，例如資料治理優先度就高於數位轉型，資料驅動決策目標也高於強化數位韌性和ESG企業永續。數位轉型、數位韌性、企業永續這都是去年CIO年度目標優先度較高者，但對GAI衝擊感越迫切的產業，AI創新的優先度越高，甚至一舉超越了CIO過往的目標。

生成結果的不確定性是GAI技術特性，這正是可以促進創新的原因，也因此難以找出一套通吃各產業、各場景的成功方程式，企業得自己不斷嘗試、模索，試驗出適合自己的GAI應用方式。所以，從調查中也可以看到，臺灣人大多數企業仍處於GAI導入和試驗階段，各產業都是如此，尤其積極採用的金融業、醫療和政府學校，高達5成金融業者，4成醫院和政府機關都在嘗試中。

如何用可控的成本，更有效率的方式，嘗試更多種場景，找出性價比夠高的應用，這是企業AI創新潮的關鍵課題。

最近，我剛想完「蘋果私有AI戰略大剖析」封面報導，從CIO大調查中看到臺灣企業所面臨的這個GAI挑戰，不禁讓我轉念一想，蘋果這套AI戰略的目的，就是為了用GAI來創新產品， 而企業的需求不是也是如此，要用GAI來強化自家系統、服務，甚至是產品。企業似乎可以從蘋果私有AI戰略中借鏡一二。

蘋果新AI戰略的核心是私有雲地混合架構，以裝置端LLM為主，算力不足時，才改用「安全可控」的雲端LLM來接手。這都還符合企業想要自己掌控GAI的期待。這也是不少企業，確定在自家機房自建LLM模型服務的原因。從我們今年調查可以看到，約有9.5%的企業想用開源LLM自行訓練，就是想放在自家機房中，降低資料上公雲的外洩風險。

可是，要滿足企業不同場景的生成需求，就得訓練或微調一套超強（參數量越高越好）的LLM，或是很多不同用途的專用LLM，不管哪一種作法的成本都很高。

但是，蘋果對於裝置端LLM採取了一個相當值得企業參考的架構，來兼顧不同應用場景的「專門需求」，又能降低需要經常訓練或微調龐大參數LLM的代價，這個架構就是LoRA架構。這不是蘋果的發明，而是微軟在2021年發表的LLM優化架構，可以大幅減少微調LLM模型的參數量。

LoRA架構的作法是，進行LLM模型微調時，改搭配一個參數量小很多的模型，稱為轉接模型（Adapters）來計算，只需將訓練資料用於微調這個轉接模型，就能達到媲美直接微調大型語言模型的推論效果。

根據微軟在LoRA論文中的比較，微調1,750億參數的GPT-3模型，改用LoRA架構後所用的算力，相當於1,750萬參數的訓練量，減少了1萬倍，也只需要三分之一個GPU記憶體。

蘋果使用他們開源的LLM模型，以30億參數大小，搭配LoRA架構訓練出來的轉接模型，只有數十MB大小，遠低於整套LLM。像蘋果的文字生成LLM就微調出了摘要模型，校對模型、郵件回覆模型、查詢處理模型、友善回應模型、緊急回應模型等不同用途的轉接模型。

蘋果看上LoRA架構的原因，不只是可以省錢，還因為轉接模型可以像是「外掛」一樣快速切換，換了另一個用途的轉接模型，這個LLM就可以具有不一樣的功能，還可以疊加，組合好幾個轉接模型，就能讓LLM模型擅長這幾種轉接模型的能力。只有數十MB大小的轉接模型，可以靠記憶體快取，快速切換，靠同一套LLM，可以針對不同場景，切換轉接模型，來支援不同的應用需求。

用專業相機鏡頭來比喻LLM模型，轉接模型就像是鏡頭的濾鏡，不用每次都切換笨重的鏡頭，單靠快速更換輕薄的濾鏡，就能拍出不同風格特效的照片，一個鏡頭還能搭配多個濾鏡，來呈現複合的效果。這個應用模式是蘋果採取LoRA架構的另一個關鍵，一套LLM，但是可以搭配各種輕薄、切換容易、可外掛的轉接模型。

蘋果已經開源釋出了他們在裝置端的模型，等於企業也可以訓練自己的轉接模型，來搭配iPhone內建的LLM，第三方業者更可以開發各種用途的客製化轉接模型，就像各種用途的外掛模組一樣。我大膽推測，說不定蘋果還會推出轉接模型的市集，讓這些自製模型可以交易。

蘋果用LoRA架構，所實現的裝置端LLM作法，一套LLM搭配多種轉接模型提供不同應用需求。回到企業角度來看，企業不也正是需要用最低的成本，反覆訓練不同場景需要的客製化模型，來測試各種GAI應用的可能性。企業可以參考蘋果這套LoRA架構的運用策略，降低反覆微調LLM、迭代AI創新的成本，企業的確可以向蘋果學，借鏡他們善用GAI背後的思考策略。

 相關報導