AI趨勢周報第243期：群創光電開源70億參數的繁中語言模型白龍

重點新聞(0209～0215)

  群創光電     LLM     白龍  

群創光電開源繁中LLM和基準測試資料集

2月初，群創光電智能推進處Text&AIGC研發團隊揭露一款自行打造的繁中語言模型Bailong-instruct 7B和基準測試資料集，要推動繁中LLM的發展。進一步來說，該模型中文名為白龍，具70億參數，以壓縮方法QLoRA和團隊自行研發的束帶嵌入（Zip-tie embedding）技術，來大幅降低訓練所需的算力，同時強化模型在繁體中文任務的表現。

Bailong-instruct 7B以Llama 2 7B為基礎，透過詞表擴充進行二次預訓練和指令精調而成，是一款類似ChatGPT的指令理解模型，支援繁中和英文。團隊表示，該模型在寫信、摘要生成、閱讀理解等任務的表現良好，此外，根據他們在Hugging Face上公開的資料，白龍模型還可處理多輪對話、開放式問答等多種任務。

同時，團隊還釋出一套自建的測試基準資料集Bailong-bench，提供14個中英應用場景來測試模型表現。如同主流評估方法，他們的原理是選定一套LLM（如GPT模型）作為裁判，來評估不同模型回答不同問題的表現，但特別的是，這款Bailong-bench基準測試還添加了模型回答語言與使用者語言一致的考量。經該資料集測試，Bailong-instruct 7B的得分接近ChatGPT（gpt-3.5-turbo-1106），還優於其他開源的繁中LLM，比如在一般場景中，白龍得分為9.2、ChatGPT則是9.9，其餘則是Taiwan-LLM-7B-v2.1-chat的7.7分、Taiwan-LLM-13B-v2.0-chat的8.1分。（詳全文）

  影片生成     Meta     V-JEPA  

Meta公開新影片生成模型V-JEPA

科技巨頭Meta人工智慧研究團隊，最近揭露用於影片預測的非生成式AI模型V-JEPA，透過預測影片中缺失或被遮蔽的部分，來提高AI對這個世界的理解。V-JEPA的靈感來源，是來自Meta AI首席科學家Yann LeCun在2022年提出的JEPA架構，Meta曾在去年以JEPA架構開發電腦視覺模型I-JEPA，能預測畫面缺失的資訊，來生成圖像。

現在，Meta進一步擴展JEPA，發展出能處理影片的V-JEPA。就訓練方法來說，團隊讓模型觀看一系列影片，並將這些影片遮蔽處理，來要求預測器在只有一小部分影片內容的上下文中，填充缺失的內容。這麼做的好處是，讓模型專注於影片的高層次概念，而非鑽牛角尖於對下游任務不重要的細節。V-JEPA採自監督學習方法，使用未標記的資料進行預訓練，只在要模型適應特定任務時，才會使用標籤。V-JEPA還能丟棄不可預測的資訊，提高訓練和採樣效率達1.5到6倍。

V-JEPA特點之一是凍結評估（Frozen Evaluations），也就是模型在預訓練後，核心部分不會再改變，只需添加小型專門層即可適應新任務，免除傳統模型對新任務需要全面微調的麻煩。目前，Meta以CC BY-NC授權釋出V-JEPA模型。（詳全文）

  影片生成    OpenAI      Sora  

OpenAI揭最新短影片生成AI模型Sora，品質更高了

OpenAI最近揭露最新生成式AI模型Sora，輸入文字就能產生高品質、最長1分鐘的短影片。進一步來說，Sora是一個擴散模型，能生成多個角色、特定動作和精準主題細節與背景的複雜場景影片，，能從一個看似靜態噪音的影格開始，逐步透過去除噪音生成一則影片。

Sora以DALL-E和GPT模型為基礎，使用DALL-E 3的重描述技術，能根據視覺訓練資料產生細緻的描述文字，因此也能貼近用戶的文字指令，來產生影片。同時，該模型也能將靜態圖片動態化。也就是說，Sora能從無到有生成全新影片，也能延長現有影片，或將遺失的影格補上。OpenAI點出，Sora是能理解和模擬真實世界的模型基礎，是實現通用AI的重要里程碑。目前，OpenAI正對Sora進行安全和功能測試。（詳全文）

  .NET     微軟     雲原生  

.NET 9預覽版來了！聚焦雲原生和AI支援

微軟才發布.NET 8不久，.NET 9預覽版已經來了！.NET 9的重點仍是效能提升、雲端原生與AI開發支援。首先，微軟在第9版改善了Visual Studio和VS Code，加入.NET Aspire技術框架新的開發和部署功能，如元件配置、除錯支援、全面整合開發者儀表板，來讓開發者更輕鬆管理和監控應用程式。開發者也可從Visual Studio、VS Code，結合使用Azure Developer CLI，將應用程式快速部署到Azure容器，讓應用程式更快上雲。

此外，.NET 9還持續改進Native AOT（Ahead-of-Time Compilation），來提高應用程式的啟動速度和執行效率，減少資源消耗。至於.NET 9對AI開發的支援，則是要讓開發者更容易使用新AI技術和OpenAI服務，亦即提供更多函式庫和文件，協助開發者使用OpenAI服務和其他開源模型，包括本地端和雲端模型的支援。微軟也會持續投資跨平臺機器學習框架ML.NET，強化向量資料庫和AI工作負載的支援，讓開發者更容易將AI功能整合到應用程式中。目前，微軟已開放.NET 9預覽版供開發者下載測試。（詳全文）

  Gemini     Google     多模態  

Google發表Gemini 1.5，可支援百萬個Token上下文

日前，Google發表最新的Gemini 1.5模型，最多可支援長達100萬個Token的脈絡，也就是能一次處理大量資訊，如1小時的影片、11小時的音訊、超過3萬行的程式碼，或70多萬字的內容。

這款Gemini 1.5模型主要採用Transformer和新的專家混合（MoE）架構，前者為一大型神經網路，後者則由眾多小型的專家神經網路所組成。MoE模型可根據使用者所輸入的資料類型，選擇性地在神經網路上啟動最相關的專家路徑，因此大幅提高模型效能。根據Google計畫，他們將在原本的Gemini 1.5 Pro服務中採用Gemini 1.5模型，將基本版支援的12.8萬個Token擴大到100萬個。（詳全文）

  圖像生成     Stability AI     Stable Cascade  

Stability AI發表新一代圖像生成模型，比前一代更省16倍成本

Stability AI日前發表新一代文字轉圖像模型Stable Cascade，可簡單地在消費級硬體上訓練和微調。就流程來說，Stable Cascade有3步驟將文字轉換為圖像，包括潛在解碼階段的步驟A與步驟B，以及潛在生成階段的步驟C。

其中，步驟C是將用戶的指令，轉換成一張小型且簡化的圖像草稿，只包含重要資訊，再將草稿輸入至步驟A和步驟B，同時加入更多細節並放大，形成一張詳細且高解析度的圖片。由於步驟C與步驟A、B分離，因此可單獨對步驟C額外訓練和微調，包括ControlNet和LoRA的訓練。這種設計，讓新模型與訓練一個類似大小的Stable Diffusion模型相比，節省了16倍成本。

經測試，Stable Cascade不只效能更好，產生的結果也比前一代模型SDXL更好。目前，Stability AI開源步驟C和步驟B各兩種模型，步驟C有10億參數和36億參數版本，步驟B則有7億和15億參數版本。不只如此，團隊也同時開源用於訓練、微調、ControlNet和LoRA的所有程式碼，但這些開源資料只限非商業使用。（詳全文）

  LLM     Slack     摘要  

Slack發表Slack AI服務，可摘要各種訊息

主打企業溝通軟體的Slack最近發表Slack AI服務，提供多項LLM驅動的個人化功能。首先是個人化搜尋，能在使用者搜尋問題時，根據使用者企業的公開通訊內容和個人對話來客製化答案，涵蓋行銷專案、公司政策、過去決策、尋找主題專家到定義特定的縮寫等領域。再來是頻道回顧功能，能總結任何頻道重點，包括未讀訊息、過去7天的重點，還能統整自訂的日期期間。另一個功能是對話串摘要，可整理長期對話的重點摘要，每個摘要也會附上來源。

Slack強調，Slack AI運作於Slack的基礎設施上，所使用的各種LLM都由Slack代管，並不會與LLM供應商分享客戶資料，也不會利用客戶資料來訓練LLM。據Slack統計，在Slack AI出現前，該平臺的使用者已打造可整合Slack使用的13,400種AI工具，合作夥伴亦已將AI整合到眾多的Slack應用中。該服務初期支援英文和Enterprise Grid方案客戶。（詳全文）

  瀏覽器     ONNX Runtime     模型訓練  

開發者可在瀏覽器訓練模型！ONNX Runtime 1.17還支援聯合學習

微軟更新AI推論與訓練加速引擎ONNX Runtime（ORT），加入網頁訓練功能，讓開發者在瀏覽器中啟用模型訓練功能，如此裝置上的資料就能透過瀏覽器，進行聯合學習和個人化應用。

從1.8版本開始，ORT Web提供瀏覽器內推論功能，讓開發者可部署跨平臺、可移植的AI模型，並支援模型在CPU和GPU推論。在最新的ONNX Runtime 1.17中，進一步支援在瀏覽器訓練機器學習模型，該功能主要由2部分組成，分別是WebAssembly二進位檔案和JavaScript套件。由於要讓開發者可以在瀏覽器用CPU來訓練模型，ONNX Runtime提供訓練功能應用程式介面C API，但瀏覽器不能直接執行C語言程式碼，所以需要使用低階語言WebAssembly協助。（詳全文）

圖片來源／Meta、OpenAI、Stability AI、Slack

  AI近期新聞 

1. OpenAI更新ChatGPT增加記憶能力，能記住更多對話內容

2. Nvidia推出Chat with RTX應用程式，供用戶在本地端自訂AI聊天機器人

3. Nvidia揭露世界第9名AI超級電腦Eos更多細節

資料來源：iThome整理，2024年2月