Google搶攻邊緣GAI的兩大關鍵策略

「我們的目的是透過邊緣GAI開源模型Gemma向開發者社群提供Gemini中可用功能。」Google Cloud執行長Thomas Kurian在Next會前一場亞太媒體活動上這樣強調，Google 將現有的Gemini模型推出了一個在Android裝置上跑的輕量版本，同時推出一個相同技術的開源版本，也就是Gemma。Gemini要利用Gemma搶佔邊緣GAI應用市場，同時借助開源社群將Gemini影響力擴大到更多應用領域。這是Google在邊緣AI的一大重要策略。

靠龐大而成熟的Android生態系，瞄準行動裝置端中的GAI模型

Google去年底推出了可以在手機上執行推論的輕量版Gemini Nano模型，讓原本只在雲端伺服器上執行的Gemini模型，現在能夠瘦身進到行動裝置中，可離線執行生成式AI應用。

Google不只率先推出能在手機上執行的GAI模型，還利用其龐大而成熟的Android生態系，使得Google在下一波邊緣GAI浪潮中，比起其他競爭對手更具優勢。尤其，現今全球擁有超過30億臺Android裝置，包括行動裝置、邊緣設備及IoT裝置等，未來都可以使用Google的GAI模型。

Google一開始先將Gemini Nano整合到自家旗艦手機Pixel 8 Pro系列中，隨後在三星Galaxy S24手機中開始提供Gemini Nano模型的支援。在Next大會上，Google擴大了其支援的裝置，新增了Oppo和OnePlus兩款手機品牌，而且不限於旗艦機型，未來甚至中階手機也能夠執行。例如聯發科二款新晶片組未來將支援Gemini Nano，包括中階的Mediatek Dimensity 8300等。

Google迄今並沒有透露具體的硬體限制，但需要執行Gemini Nano模型，從現有手機硬體規格來看，除了配備AI晶片Tensor G3，以滿足生成式AI模型推論的運算需求之外，同時得要配備至少8GB或以上的記憶體。

為了在行動裝置中能更好地執行LLM語言模型，Google提出了新框架，在原本的Android作業系統中新增了AI Core層，這是一個新的Android系統層級服務，可用來提供Gemini Nano模型的存取，同時提供模型管理、runtime和安全性等功能，以此提供模型更新並確保模型輸出的安全性。

透過AI Core，開發者可以很容易在Android裝置上建立和執行LLM， 並可以透過SDK與AI Core進行溝通，讓在OS上執行的App使用Gemini的功能。

AI Core提供了LoRA模型微調功能，可以執行利用LoRA進行微調的推理，同時也能夠調度底層的硬體，如TPU或VPU，來支援模型推論所需的運算需求。目前AI Core僅包含在Android 14版本中，因此要使用AI Core，需將作業系統升級至該板本。

安卓手機上現有的3種GAI應用

Google初期在Android行動裝置中提供3類Gemini應用，包括錄音App摘要、Gboard中的智慧回覆和聊天傳訊改寫。舉例來說，在Pixel 8 Pro手機的轉錄工具App中，Gemini Nano模型可以提供會議音檔的重點摘要。而在Gboard工具上則會根據鍵盤上的上下文輸入提供下一段文字的建議。在聊天訊息中，則能夠根據對話內容提供內容改寫的建議，並可在離線情況下執行這些裝置上的GAI應用。

不過，現階段這些應用仍處於私人Beta測試階段，僅提供特定的開發人員進行測試使用。

除了可離線執行裝置上GAI應用，使用者也可以利用Gemini API在行動裝置中執行較複雜的多模態AI任務，例如經由網路使用雲端上的中型模型，如Gemini 1.0 Pro，就能夠在手機上使用功能更強的Gemini助手回應和處理各種Workspace內容。

在一場Android裝置GAI技術發展演講中，Google Android開發者關係工程師Thomas Ezan提到將GAI模型部署到Android裝置上的好處在於，資料可以就近在手機裝置上處理不需要傳雲，對於企業隱私保護性也較高，而且模型回應速度更即時，甚至遇到斷網也不怕。此外，企業執行模型推論增加的雲端成本也能降低。

Thomas Ezan指出，Google目標是要讓每支App，都能夠使用生成式AI功能， 甚至還要將Gemini變成是下一代App的關鍵必備能力。他預告接下來，還有其他功能陸續推出，包括裝置上個人化GAI功能。

Google初期在Android行動裝置中提供3類Gemini應用，包括錄音摘要、Gboard鍵盤智慧回覆和聊天傳訊改寫。舉例來說，Pixel 8 Pro手機使用者可以在轉錄工具App中使用Gemini Nano模型提供會議音檔的重點摘要。此外，Gemini也能夠根據鍵盤上的上下文輸入提供文字的建議，而且聊天訊息對話過程中，也能根據原始內容提供改寫的建議。（攝影／余至浩）

Gemini要利用相同技術的GAI開源模型Gemma進軍邊緣AI

Google在邊緣AI策略，除了推出可在裝置上跑的Gemini Nano模型，還將另一款採用相同技術研發的邊緣GAI模型Gemma開源，要借助開源社群的力量將Gemini影響力向外擴散到更多應用領域之中，這是Google在邊緣AI另一大重要策略。

Gemma是Google在今年2月釋出的一款輕量級邊緣GAI開源模型，用來挑戰臉書Meta的LlaMa。Gemma正式採用Apache-2.0授權釋出，因此其更易於散播，並且可以在桌機、筆電，甚至行動裝置、IoT裝置上執行。

Gemma採用與Gemini模型系列相同的架構、訓練資料和訓練方法，利用了6兆個Tokens的資料集（包含網路文檔、數學和程式碼）進行訓練，而且同樣基於安全與負責任的AI原則設計。不過，與Gemini不同的是，Gemma並非多模態模型，僅能支援單一資料型態，目前僅支援英語輸入。

Gemma發布後，Google隨後將Gemma和其商用GAI模型Gemini API並列在Google AI for developer頁面的GAI工具列表中，提供給開發人員使用，表明對其未來發展的重視。

在會前一場亞太媒體活動上，Thomas Kurian透露對於這款邊緣GAI模型未來發展的企圖，他強調：「Gemma建立在與Gemini相同的基礎技術和能力上，目的是吸引開發者生態系統的加入，並透過Gemma向開發者社群提供Gemini中可用功能。」

不只能夠透過社群回饋持續提高和改進Gemma模型的能力，Google同時也能將這些改進應用在正式的商用Gemini產品中，使模型表現越來越好，甚至借助開源社群的力量將Gemini影響力向外擴散到更多應用領域。

借助開源力量將Gemini影響力向外擴散到更多應用領域

開發人員現在已經可以在Android裝置中安裝和執行Gemma， 透過MediaPipe 釋出的實驗性LLM推論API，可以支援包括Gemma 2B模型在內的推論任務。Gemma現階段提供了70 億和20 億參數兩種版本，前者用在GPU和TPU上的應用部署和開發，後者則是專用在CPU為主的裝置應用上。

不過在GPU的裝置上執行20億和70億的Gemma模型，分別需要至少8GB以上和24GB以上的記憶體。

Google雖然不是唯一一家將自家GAI模型開源的公雲業者，例如微軟最近釋出了SLM模型Phi-3-min，同樣可以在行動裝置上執行。但是Google在Next大會上進一步在雲端LLM開發平臺Vertex中開始提供Gemma系列模型，包括程式碼生成模型CodeGemma等，讓企業可以在自家LLM應用中開始採用。

此外，Google在其GDC分散式雲端服務中開始提供Gemma模型的支援，進一步將Gemma應用到了靠近資料所在的企業邊緣環境，例如工廠等。

 相關報導