AI趨勢周報第237期：蘋果提出新方法，行動裝置可執行DRAM兩倍大的LLM

重點新聞(1215～1221)

 DRAM     蘋果     LLM  

蘋果提出新方法，成功讓邊緣裝置執行DRAM兩倍大的LLM

蘋果最近提出一種新方法，來解決行動裝置DRAM記憶體不足、難以執行大型語言模型（LLM）的難題。進一步來說，LLM雖有出色的語言處理表現，但需耗費大量運算資源和記憶體，很難在資源有限的邊緣裝置上執行，特別是DRAM有限的行動裝置。

於是，蘋果團隊結合2種技術，將模型參數儲存在快閃記憶體上，再依需求，將參數傳送到DRAM，讓行動裝置也有辦法執行原本DRAM無法負荷的LLM應用。這2種技術分別是視窗化（Windowing）和列行合併（Row-column bundling），前者透過重複使用已活化的神經元，來減少資料傳輸，後者針對快閃記憶體的序列資料存取優勢，來增加快閃記憶體讀取資料的大小。團隊測試，採用這些方法，可執行高達DRAM兩倍大的模型，而且與單純的CPU和GPU加載方法相比，推理速度分別提高了4到5倍和20到25倍。

這項研究意義重大，因為蘋果計畫將生成式AI功能整合到iOS 18作業系統中，來強化Siri和訊息App體驗，更有效地回答問題和自動完成句子。不只蘋果，三星最近也推出可在行動裝置上執行的語言模型Gauss，並計畫納入2024年初要發布的Galaxy S24手機中，他們還打算將這種語言模型整合到其他手機、筆電和平板電腦等設備。另一方面，Google也推出Gemini Nano低階版語言模型，可在裝置上執行，且預計結合Google Pixel 8手機，要提供錄音App的摘要功能和Gboard智慧鍵盤的智慧回應等功能。（詳全文）

  LLM     Google     影片生成  

Google發表影片生成模型VideoPoet

大型語言模型（LLM）不只能用來生成文字、圖片，還能生成影片。最近，Google研究院就發表了影片生成模型VideoPoet，可執行一系列影片生成任務，包括文字轉影片、圖片轉影片、產生不同風格的影片、影片修復和外擴，以及影片轉音檔等。

有別於現有模型分段的做法，VideoPoet的特別之處在於，只用單一個LLM架構就整合多種影片生成能力。VideoPoet以多種標記器（Tokenizer）訓練而成，像是讓模型理解影片和圖片的MAGVIT V2、學習音訊的SoundStream等。

經測試，團隊發現，VideoPoet能根據文字提示生成更貼切的影片，也就是文字保真度和動作趣味性比Pika、Stable Video Diffusion、Imagen Video、RunwayML等同類模型表現要好。此外，VideoPoet也擅長零樣本學習，能根據單一文字或圖片輸入，來產出良好且連貫的影片。（詳全文）

  GAI    LLMOps      Google  

Google要打造從端到雲全套GAI工具鏈

Google在12月發表不少生成式AI工具，不只有大語言模型Gemini，也在AI開發套件Vertex AI上釋出企業用Gemini Pro模型預覽版API，開放企業免費試用。同時，他們也推出Web版AI Studio開發工具，將自家MLOps開發平臺Vertex AI轉為聚焦企業GAI開發的LLMLOps平臺，要涵蓋開發、部署到維運更多模型生命周期階段的需求。

進一步來說，就Gemini而言，Google發表高階Ultra版、中階Pro和用於行動裝置的低階Nano版模型等3種版本，Ultra版將可同時辨識和理解文字、圖片與聲音，也能處理幾種熱門開發語言，如Python、Java、C++。而先上架的Gemini Pro模型API預覽版，就是中階款，包括只支援文字輸入和生成的Gemini Pro，以及Gemini Pro Vision端點這2種API，後者可處理文字和影像輸入，但只輸出文字。

Google還宣布多項Vertex AI新功能，包含模型增強、與外部資料或API的互動、多模型協作框架、自動化模型評比和更多GAI控制機制。其中，Vertex AI增強工具的主要功能有強化搜尋常用的嵌入檢索機制、設定配置就能快速建置的RAG工具，能串接外部向量資料庫，再以Vertex AI使用Gemini來實現多模態嵌入檢索。Vertex AI也將提供到18種GAI負責任控管機制，來把關生成內容，另也會提供3項模型與外部環境互動的能力，不只有8月推出的預覽版外掛機制（Extension）、讓生成式AI模型即時取得外部資訊，還會新增函數呼叫功能，可將Gemini生成結果自動匯出成一支API或函式程式。另一項新功能是多模型協作調度，Vertex AI將可用來調度多個模型互相搭配，例如在手機上用Nano版模型接收使用者口說的問題，先將問題聲音轉成文字後，再拋轉到雲端的Pro版模型來生成回答、傳給使用者。不過，Google還沒揭露調度框架釋出時程。（詳全文）

  OpenAI     小模型     監督  

OpenAI最新研究：人類有辦法控制比自己更聰明的AI

人類該如何有效監督比自己還聰明的AI？這是OpenAI今年中提出的問題。他們在7月組隊、展開超對齊（Superalignment）研究，最近揭露最新成果，成功以小模型來監督大模型，在人類開發和管理超級AI的難題上，提供一個新視角。

他們採用簡單的方法鼓勵模型，使強模型不受弱監督者的能力限制，甚至在必要時反對弱監督者意見。因此在自然語言處理任務中，他們以GPT-2模型監督GPT-4，產生的模型能力通常介於GPT-3和GPT-3.5，許多GPT-4的能力仍可發揮。這說明了，即便在弱監督的指導下，強大的AI模型也能超越其限制，達到更高水準的表現。亦即，即便人類身為弱監督者，能力和理解可能受限、無法良好地評估強模型，但身為弱監督者仍有能力引導和改善強模型表現，揭示了人類控制先進AI系統的可能性。（詳全文）

  Mixtral 8x7B     Llama 2     SMoE  

微軟更新DirectML，開始支援NPU

微軟預告2024年將更新DirectML，將支援神經處理單元（NPU）。NPU是一種專為機器學習工作負載設計的處理單元，適合用於計算密集、不需圖型介面互動的工作負載，目前英特爾新款Core Ultra處理器晶片就內建NPU，也會是第一個可在Windows上使用DirectML技術的NPU。

DirectML是一個低階且硬體抽象化的API，能直接存取GPU等各類加速器，來執行機器學習計算。DirectML也能和其他機器學習框架整合，比如跨平臺推理引擎ONNX Runtime、Windows機器學習模型最佳化工具Olive等。得到DirectML支援的NPU，還能加入ONNX生態系，使用如ONNX Model Zoo模型、英特爾Neural Compressor與ONNX Runtime等工具。這次的新支援，對開發者來說，能透過ONNX Runtime等API，將AI模型轉移到英特爾NPU上執行。支援NPU的DirectML預計在2024年初，與最新的ONNX Runtime版本一起釋出。（詳全文）

  Azure AI     小語言模型     微軟  

微軟Azure AI再添新模型，Phi-2小語言模型也上架

最近，微軟Azure AI再添生成式AI模型，包括在Azure AI中，公開預覽版的模型即服務（MaaS）平臺納入Meta最新模型Llama 2，在Azure OpenAI服務和Azure AI Studio工具中提供公開預覽版的模型OpenAI GPT-4 Turbo with Vision，另也在Azure AI模型市集中上架6個新模型，包括前陣子新發布的小型語言模型Phi-2。

Azure AI的MaaS平臺是微軟在今年11月Ignite大會中發表的新服務。微軟解釋，在Azure AI中，企業可在雲端執行個體中建立VM來部署模型，但有些企業不想處理基礎設施工作，因此催生出MaaS平臺，將模型視為API端點，來讓用戶呼叫模型，猶如使用Azure OpenAI服務一樣，這次在MaaS平臺中新添了Meta的Llama 2系列模型。而在模型市集中，除了新增Phi-2，還納入了文字生成模型DeciLM 7B、文字生成圖像模型DeciDiffussion、程式碼生成模型DeciCoder、Orca2和Mixtral 8x7b等模型。（詳全文）

  Imagen 2     Google     Vertex AI  

Google推出文字生成圖像模型Imagen 2

Google最近在自家模型開發和部署平臺Vertex AI中，正式上架文字生成圖像模型Imagen 2，供等待審核的使用者取用。Google指出，Imagen 2的特點包括更高品質的圖像生成、更精準的文字渲染、可製作Logo、產出更貼切的圖說和看圖問答、多支援6種語言，以及符合Google負責任AI原則。其中，精準的文字渲染，能讓生成的圖像更貼近文字提示，而支援的語言除了英文，還新添中文、印度語、日文、韓文、葡萄牙文和西班牙文等。

就安全性來說，Google在Imagen 2內建安全機制，確保產生的圖像符合規範。例如，生成圖像整合DeepMind的SynthID浮水印功能，列入白名單的使用者可用來生成肉眼不可見的浮水印。而且，Google還強調版權賠償方法，意味著使用者不必擔心以Imagen 2生成的作品，可能侵害著作權。（詳全文）

  AI評測中心     數位部     公平性  

數位部啟動AI產品與系統評測中心，2024年要成立驗證機構

在本月初，數位發展部正式啟動AI產品與系統評測中心，要建立公平、可靠的AI產品和系統評測機制，以及可信任AI的發展環境。數位部表示，AI評測中心旗下有制度推動委員會、技術審議小組，將負責制定AI產品與系統評測制度、AI產品與系統評測指引。他們還預告，要在2024年成立驗證機構、測試實驗室，來提供AI評測與驗證服務。

目前，AI評測中心已先建立大語言模型的初步評測項目，包含安全性、可解釋性、彈性、公平性、準確性、透明性、當責性、可靠性、隱私及資安等10大類，目前也陸續展開測試，如國科會的TAIDE模型。數位部指出，AI評測中心接下來會推動國內AI模型功效評測工具，並針對不同產品、系統和服務類別，參考國際試驗方法，來發展臺灣的評測工具與系統。（詳全文）

圖片來源／Google、OpenAI、微軟

  AI近期新聞 

1. Google用機器學習技術最佳化編譯器配置，強化模型執行效率

2. Mistral AI 將於 2024 年開源 GPT-4 級別模型

資料來源：iThome整理，2023年12月