AI趨勢周報第240期：Nvidia發表對話式問答模型ChatQA，表現媲美GPT-4

重點新聞(0112～0118)

ChatQA     Nvidia     對話式AI  

Nvidia發表對話式問答模型ChatQA，表現媲美GPT-4

Nvidia研究團隊日前發表一系列對話式AI模型ChatQA，包括70億參數（7B）到700億參數（70B）等版本模型，其中，70B版本的ChatQA-70B表現最好，不只在10個對話基準測試中的平均分數比GPT-3.5-turbo好，還比GPT-4好（54.14分比53.90分），且未使用任何OpenAI GPT模型的合成資料。

這是因為，Nvidia團隊用2階段指令調整方法，來大幅改善大型語言模型（LLM）的零樣本對話問答能力。為讓對話問答的檢索更有效率，他們用多輪問答資料集來微調一個密集檢索器（Dense retriever），成效與使用最先進的、基於LLM的查詢重寫模型（即GPT-3.5-turbo）一樣，還大大減少部署成本，無需額外的運算和重寫API的成本。

而且，ChatQA在處理難以回答的問題時，表現特別好。這是因為，他們在訓練資料中加入少量無法回答的樣本，大幅強化模型這方面的能力。在評測無法回答的問題時，ChatQA-70B的表現只比GPT-4稍微低一些。不過，ChatQA目前還未開源。（詳全文）

  Stable Code 3B     程式碼     Stability AI  

可自動填補空缺程式碼的模型Stable Code 3B來了

Stability AI最近釋出一款新程式碼撰寫模型Stable Code 3B，是一個只有27億個參數和解碼器的語言模型，使用了1.3兆個Token進行預訓練，包含大量的文字和程式碼資料集。

Stable Code 3B的特點是中間填補（FIM）功能，也就是能在一長串程式碼中，根據上下文填補中間空缺的部分，有別於常見的程式碼生成模型，只生成幾行程式碼建議。這是因為，Stable Code 3B採用了回歸處理元素（RoPE）方法，能擴展處理的上下文至10萬個Token，更能理解冗長的程式碼序列，讓模型不只理解幾行程式碼，還能理解整支程式。

團隊表示，這個模型以18種程式語言資料訓練而成，包括熱門的Python、Jave、JavaScript和C++等。該模型也在HuggingFace等平臺開源，團隊表示，Stable Code 3B輕巧，能在沒有GPU的筆電上執行。（詳全文）

  Google DeepMind    國際數學奧林匹克      幾何學  

Google DeepMind新AI媲美國際數學奧林匹克金牌解題能力

最近Google DeepMind發表一款AI系統AlphaGeometry，使用1億筆合成資料訓練，就能在最新的30道國際數學奧林匹克（IMO）題目中，在規定時間內解出25道題。它不只比先前只解出10題的最佳AI還厲害，表現還接近人類金牌得主的平均值25.9道題，是邁向通用AI的一大里程碑。

幾何學是電腦科學的重要工具，也是國際數學奧林匹克競賽的核心課題。這個競賽旨在測驗邏輯推理和發現新知識的能力，但就算是目前最先進的AI系統，都還難以證明數學猜想（Conjecture）的真偽。AI界普遍認為，證明數學定理是發展通用AI的關鍵一步，但它有個大挑戰：缺乏訓練資料。

為解決這個挑戰，Google DeepMind研究團隊Trieu Trinh和Thang Luong先是根據IMO規則，生成了1億個不同複雜度的數學定理和證明，並用這些合成的資料，從頭訓練出一套AI系統AlphaGeometry。架構上，它是一套神經符號（Neuro-symbolic）系統，採混合式架構，由神經語言模型（NLL）和符號推論引擎（Symbolic deduction engine）2大部分組成。其中，神經語言模型扮演引導角色，來指導符號推論引擎，如何在IMO等級的問題中，從幾何構造的無限可能中找出解決方案。（詳全文）

  微軟     零售     LLM  

微軟推出一系列零售AI工具

日前，微軟推出一系列工具，將AI結合零售營運，來降低開發生成式AI的門檻。這些工具包括微軟Copilot、用來建置應用程式的Copilot模板，以及微軟資料分析平臺Fabric中的零售資料解決方案，讓各種規模的零售商都能更簡單地應用AI。

進一步來說，Azure OpenAI服務的Copilot模板讓零售商可在現有網站和應用程式，建立個人化購物體驗。而微軟雲端零售專用的Copilot模板，整合了大型語言模型能力，能打造AI Chatbot，讓顧客以自然有效的對話快速找到商品。對店家來說，還能用來建立AI助理，來回答營運流程或工作流程相關問題。

此外，微軟還提供零售媒體創意工作室軟體（Retail Media Creative Studio），是一款橫幅廣告創意解決方案，能自動生成和編輯廣告活動，還能用AI最佳化橫幅廣告表現，向顧客提供個人化購物體驗。微軟也計畫在Dynamics 365 Customer Insights中推出新Copilot功能，來讓行銷人員用自然語言描述期望的行銷成果，再由AI生成行銷方案。這些功能預計在今年第一季推出、在第三季正式上線。（詳全文）

  JFrog     Amazon SageMaker     機器學習  

JFrog整合Amazon SageMaker，要提高開發效率

通用資料儲存庫JFrog Artifactory最近整合了機器學習服務Amazon SageMaker，讓機器學習模型開發也能應用DevSecOps工作流程，並與其他軟體開發元件一起交付，確保模型在發布時不可篡改、可追蹤、高安全性和可驗證性。

JFrog Artifactory是一款儲存服務，可用來儲存和管理軟體供應鏈中，所用到的二進位檔案、套件、檔案、容器和元件。Amazon SageMaker則是全託管機器學習服務，提供用戶一系列建置、訓練和部署機器學習模型的工具。兩者整合後，用戶不只能使用SageMaker的內建工具，還能使用JFrog Artifactor提供的機器學習常用開發工具，如容器映像檔註冊表、Hugging Face儲存庫等，而Artifactory的用戶則能使用更專業或特定用途的模型和工具，以及組織平臺和基礎設施團隊標準化開發環境，來提高效率、滿足生產部署所需遵循的法規。此外，整合功能還能清除多餘未使用的套件和框架，使產品構件更精簡。（詳全文）

  Google     Andriod     搜尋  

Google推出Andriod手機觸控搜尋新功能

搜尋除了輸入或說出關鍵字、由聊天機器人代勞外，Google最近還為Android新增另一種互動方式，用觸控就能啟動Google搜尋，使用者查詢資訊不必再切換視窗或App了。這個新功能是Circle to Search，能讓用戶用多種觸控方法，如在螢幕上畫圈、突顯、手指塗鴉或點擊等方式來執行搜尋，不必切換到搜尋頁面。

此外，Circle to Search也支援多模態搜尋，特別是Google Lens整合文字和圖片搜尋能力，現在還加入AI強化。例如在看炸熱狗圖片時，用戶可用手指圈選並問道「為何它這麼受歡迎？」就能從網頁上搜尋到其來源、作法、成分。或者用戶看到不太理解的YouTube短影片標題時，只要將文字畫重點，就能搜尋並取得相關訊息。Circle to Search功能預計在1月31日部署到特定的Android手機，如Pixel 8、8 Pro，以及最新的三星Galaxy S24系列，涵括所有語言和地區用戶。（詳全文）

  三星     Gemini     Google  

合作第一槍！三星新Galaxy S24系列手機導入Gemini模型

三星電子和Google Cloud日前啟動新計畫，要在三星智慧型手機導入Google Cloud的生成式AI技術。其中，三星最新推出的智慧型手機Samsung Galaxy S24系列，已配備Google的Gemini Pro和Imagen 2兩款模型能力，使用者能在三星原生應用程式中，使用筆記（Notes）、錄音（Voice Recorder）和Keyboard1的摘要功能，而Gemini Pro則為三星手機提供Google Cloud功能，包括資安防護、安全性、隱私權和資料法規遵循等。

就Imagen 2功效來說，三星可用來提供安全又直覺的照片編輯功能，使用者也能在S24 Gallery應用程式的Generative Edit2取得這些功能。此外，S24系列手機也將使用Google裝置端的語言模型Gemini Nano，來作為Android 14作業系統的一部分。（詳全文）

圖片來源／Nvidia、Stability AI、Google DeepMind、JFrog、Google

  AI近期新聞 

1. 微軟推進教育AI工具與政策，增強個人化學習與教學支援

2. Meta改組AI部門，已著手訓練Llama 3

3. OpenAI強化平臺安全性，避免生成式AI工具被用於全球選舉操作

4. 吳恩達聯手Google Cloud開設LLMOps課程

資料來源：iThome整理，2024年1月