AI趨勢周報第253期：微軟Build 2024大會AI亮點盤點

重點新聞(0524～0530)

 生成式AI     微軟     Copilot  

盤點微軟Build 2024大會AI重大更新

微軟在5月下旬展開今年度Build大會，主題聚焦生成式AI，亮點可分為AI筆電Copilot+ PC和整體的微軟Copilot技術架構更新。Copilot+ PC是今年首度亮相的AI系列筆電，結合了CPU、GPU和NPU，效能可達每秒40兆次處理（TOPS），可更快速執行AI應用。這系列筆電內建了40多個本地端AI模型和多種AI原生App，像是回顧Recall、圖像創作Cocreator、即時字幕與翻譯Live Caption等。這些筆電由微軟Surface和OEM合作夥伴提供，包括華碩、宏碁、Dell、聯想、HP和三星等，預計6月18日開始上市。

另一方面，在微軟Copilot技術架構更新部分，則可分為底層和應用層。就底層來說，基礎設施部分微軟正式推出基於AMD最新Instinct GPU的處理器ND MI300X v5，可更快、更有效率執行AI應用，另也公開預覽Cobalt 100晶片。往上一層到基礎模型層，不只正式在Azure AI中上架GPT-4o模型，也和Hugging Face擴大合作、納入所有Hugging Face模型到Azure AI，另也推出42億參數的Phi-3-vision模型和33億參數的Phi-Silica模型。而AI開發工具Azure AI Studio也正式上線，可用來打造AI應用。甚至，Azure AI Studio還推出客製化模型功能，允許使用者用自己的資料訓練客製化模型。

再往上一層來到資料層，微軟資料分析平臺Microsoft Fabric推出一項無程式碼/低程式碼的即時智慧（Real-Time Intelligence）SaaS解決方案，可用來更快速處理大量、顆粒度更細緻的PB級即時串流數據。在AI調度與工具鏈層，微軟推出程式開發外掛GitHub Copilot Extensions（私人預覽），開發者可用透過自然語言和自己習慣的工具，來打造、部署雲端應用，完全不必離開開發環境IDE或GitHub網站。第一波新添16個外掛。

工具層之上來到應用層，在這層，微軟推出Microsoft Copilot Connector連結器，可讓Copilot助理摒除障礙存取使用者資料、跨App和工作流程處理資料，來打造客製化模型。同時，微軟還針對M365 Copilot推出協作助理Team Copilot，專門處理複雜的協作任務，比如在協作工具Teams中管理會議、安排議程、管理時間和記錄重點。它還能管理Teams對話，摘要重要資訊、回覆群組問題等。甚至能扮演PM角色，確保任務管理看板Planner中的每個專案順利進行。Team Copilot預計今年晚些時候預覽。另一項Copilot產品線的延伸，則是在低程式碼助理開發平臺Microsoft Copilot Studio中，新添代理（Agent）的能力類別，讓開發者用來打造能主動回應數據和事件的智慧助理，還能執行特定任務和功能。（詳全文）

機器狗     臺大     國科會  

臺大團隊打造工業用和居家用2款機器狗

在國科會產學合作計畫下，臺大機械系教授郭重顯帶團打造2款自主研發的AI機器狗NTU DogBot，包括54公分長、16公斤重的寵物型機器狗Oliver，以及93公分長、40公斤重的工作型機器狗Dustin。這些機器狗整合多項機電設計和AI技術，包括機械設計、控制工程、步態生成、自主導航、AI演算法等，臺大團隊也與國內企業探討機器狗使用情境，如在工廠或工地智慧巡檢、餐點/物流配送，要加速NTU DogBot導入相關場域，解決缺工和人力問題。

進一步來說，臺大團隊在2022年至2023年間，先以3D列印方式，研發出42公分長、4公斤重的小型機器狗，進行步態控制和自主定位與導航的概念驗證。後來，臺大團隊參與國科會產學合作研究計畫，相繼打造出Oliver和Dustin，兩款皆具自主定位導航能力，但Oliver具動作教導與AI視覺等功能、可進行語音和表情偵測與互動操控，適合居家應用，而Dustin適合工業巡檢與物品遞送，搭載各式工業用途感測器，如音噪、視覺、溫度、氣體等，還能結合Line Bot即時訊息回報。團隊盼以這兩款機器狗雛形為基礎，推動臺灣機器狗產業發展。

臺大團隊表示，機器狗在國外不僅商品化，還有具體應用場景，如美國機器狗用於電網巡檢、韓國機器狗投入物流配送、歐洲機器狗應用於地鐵隧道和管線的養護檢修等。而臺灣機器狗沒有太多實際導入案例，原因為造價與維護昂貴、客製化與AI開發技術支援不足等，郭重顯團隊研發成果可讓企業以較低成本導入場域，並提供客製化、組合式模組軟體架構，能快速針對企業需求調整，並採用開放式通訊介面，可整合企業端生產資訊和資料庫。（詳全文）

  互連     開放標準     AI  

Intel、AMD、微軟等IT巨頭合推AI網路互連開放標準

英特爾、超微（AMD）、博通（Broadcom）、微軟、Meta、思科和HPE等IT巨擘在5月30日宣布聯手發展網路加速器互連標準Ultra Accelerator Link（UALink），為系統OEM業者、IT專業人員、系統整合廠商，提供更容易整合、彈性擴充性的方法來打造AI基礎架構。

這個產業新標準，是要提供高速、低延遲的網路互連（Interconnect），來串聯不同廠牌的機器，實現資料中心內AI與HPC的系統擴充。UALink促進小組指出，他們將發展一套規格，來定義高速、低延遲的互連架構，擴大AI運算單位（Pod）中加速器和交換器之間的通訊。即將推出的UALink 1.0規格，將在一個AI運算單位中，支援最多1,024個加速器，允許GPU等加速器附加記憶體之間的直接載入和儲存。該促進小組已成立UALink聯盟，預計在2024年第三季正式成為法人公司，並發布1.0版規格，公開給聯盟會員。（詳全文）

  ChatGPT Edu    OpenAI      教育  

OpenAI推出教育版ChatGPT Edu

OpenAI在5月底發表一款教育專用聊天機器人ChatGPT Edu，將推廣到全球校園中。ChatGPT Edu採最新的GPT-4o多模態模型，專為大學打造，可支援文字和視覺推論，也能進行資料分析等功能。此一版本具備企業級安全與控制能力，OpenAI將以教育機構負擔得起的價格來供應。

ChatGPT Edu的功能包括文本釋譯、撰寫程式碼、解決數學問題，也提供資料分析、網頁瀏覽及文件摘要等高階功能，還能建置客製化ChatGPT版本並於校內分享。此外，這款ChatGPT Edu還提供比免費版要多的訊息額度，支援逾50種語言並改善語言的品質和速度，且不會以用戶的資料及對話來訓練模型。（詳全文）

  Claude     外部工具     Anthropic  

Anthropic推新功能，Claude助理可使用外部工具了

AI新創公司Anthropic在5月30日揭露聊天機器人Claude新工具，讓Claude除了搜尋和回答問題外，還能整合API和外部資料源來執行更多任務，目前已正式上線、開放企業開發者使用。

這個新工具叫做Tool Use，透過它，Claude能和外部用戶端工具、API和功能互動，可用來執行多種任務，像是搜尋最新網頁資料、從文件中擷取資料輸入報表或執行客戶服務。Tool use目前已整合在Claude 3模型家族，供開發者可透過Anthropic Messages API、Amazon Bedrock、和Google Vertex AI存取使用。相關資源也在GitHub公開。另一方面，OpenAI的ChatGPT、微軟Copilot也都在去年推出類似擴充功能，可以外掛、API整合外部工具或服務，提供AI代理訂餐、訂票、網購、搜尋景點等即時資訊或更自動化的服務。（詳全文）

  語音訂位     Line     Chatbot  

台灣大聯手Line、inline，打造餐飲AI語音訂位服務

最近，台灣大哥大與Line、碩網資訊、inline共同推出AI語音預約訂位服務，結合聊天機器人、生成式AI，來協助餐飲業者處理顧客來電訂位需求。這個訂位服務結合台灣大行動市話服務，讓手機能接聽市話來電，並結合碩網資訊的語意辨識、語音合成技術，Line的Clova聊天機器人，以及inline的線上訂位服務，讓商家不需要撥出人力接聽訂位電話，就能自動由AI協助完成線上訂位。

比如，消費者透過Google Map撥打商家電話，如果商家設定好Line Call來電，來電就會由AI應答，消費者只要以自然的口語說出想要預訂用餐，如5月30日晚上7點、4大2小，AI就會自動與消費者問答，完成訂位訊息，並通過inline完成線上訂位，再透過Line發送成功訂位資訊給消費者。若消費者以市話來電訂位，也能由Line聊天機器人協助完成，60秒即可。

技術上除使用Line聊天機器人和社群平臺，他們也導入ChatGPT-3.5來判讀用餐相關問題，例如店家周邊停車資訊、用餐時間限制、兒童用餐、座位等問題。為避免ChatGPT給出錯誤訊息，碩網也預先訓練ChatGPT應答資料，如ChatGPT判斷無法回答，則轉交真人接聽或Line一對一回應。（詳全文）

  程式撰寫     Codestral     Mistral AI  

Mistral AI推出輕量級程式撰寫模型

法國AI新創公司Mistral AI最近發布輕量級程式撰寫輔助模型Codestral，能完成程式碼撰寫，也能撰寫測試，加速開發軟體專案的速度。Codestral以80多種程式開發語言的資料訓練而成，涵括Python、Java、C、C++、Bash、Swift和Fortran等語言。

該模型參數為220億，可作為指令語言模型，回答開發問題或執行開發任務，例如解釋程式碼片段、撰寫文件、因子分析，或產生開發者所需的程式碼。它也支援fill-in-the-middle（FIM）功能，能預測前綴、後綴字串預測中間元素，完成任何部份程式碼，對VS Code之類的軟體開發相當有幫助。Mistral AI相信其涵蓋廣度可擴大其專案適用性，結合此一模型可提升開發人員開發品質，減低錯誤及臭蟲的風險。Codestral已在MNLP-0.1授權下，在Hugging Face平臺開源。（詳全文）

  GitHub     加速器     生成式AI  

GitHub加速器資助11個開源AI專案

GitHub加速器（GitHub Accelerator）今年聚焦AI，根據促進新職業發展、影響廣泛社群、強化資安和提高開源AI開發者生產力等指標，挑出了11項專案，將提供資金援助、指導和社群等資源。進一步來說，今年入選的GitHub Accelerator專案涵蓋多個領域，包括模型最佳化與部署、測試與評估、AR/VR應用、無人導航、隱私與安全，以及開發者工具。

在模型最佳化與部署方面，unsloth AI專案能降低模型微調所需要的記憶體資源和時間，LLMware.ai簡化了企業採用檢索強化生成（RAG）技術的流程。LangDrive可透過API簡化大型語言模型的訓練和部署。在AI應用上，A-Frame專案讓使用者在瀏覽器中建立AR/VR與3D內容，Nav2則為機器人提供導航解決方案。

針對隱私與安全的專案有OpenWebUI，目標是發展可改善隱私和安全性的本地端LLM，另還有為安全團隊提供自動化代理的HackingBuddyGPT。此外，Web-Check提供AI驅動的網站安全檢查服務。而進階Python筆記本Marimo，則能簡化RAG部署Talkd.ai，可提高開發者生產力。（詳全文）

圖片來源／微軟、國科會、Anthropic、Line、Mistral AI

  AI近期新聞 

1. OpenAI開放自製GPTs、GPT-4o給免費版ChatGPT用戶存取

2. Opera AI瀏覽器將整合Google Cloud Gemini等模型

3. IBM Watsonx大型主機程式開發助理強化解釋功能，助開發者理解COBOL程式碼

資料來源：iThome整理，2024年6月

6月4日勘誤：第一則原文提及微軟自行研發的NPU，更正為NPU。