【西雅圖現場直擊】微軟揭露十大AI產品策略新亮點，全力搶攻桌面AI應用浪潮

今天（北美太平洋夏令時間5月21日）今年度微軟Build大會正式展開，微軟執行長Satya Nadella一口氣揭露不少新進展，可分為2大類，包括專為AI開發優化的執行環境Windows Copilot Runtime，以及Copilot技術架構的重大更新。這2大類中就有新添的Phi-3 Silica多模態小型語言模型、GPT-4o正式在開發工具Azure AI上架、Azure AI Studio正式上線，甚至在資料分析平臺Microsoft Fabric上，還新增即時智慧（Real-time Intelligence）解決方案，可處理PB級串流資料等。

亮點1：為AI開發優化的Windows Copilot Runtime執行環境

Satya指出，70年前，科學家對電腦的期待是「電腦能理解我們嗎？還是我們要理解它？」以及「電腦能幫助我們理解複雜資料嗎？」這是70年來科學家追尋的2大目標。

這也是微軟想實現的目標，他們的策略是透過智慧助理Microsoft Copilot、AI筆電Copilot+ PC和技術堆疊Copilot Stack來實現。其中一個重要基石，就是微軟這次整合打造的執行環境Windows Copilot Runtime。

這個執行環境包括3個層面，首先是底層的AI框架和工具鏈，包括微軟既有的AI框架DirectML、ONNX Runtime，以及Visual Studio Code AI開發工具套件等。

支援PyTorch原生，上千個Hugging Face模型可在Windows執行了

在底層中，Satya揭露2大重點更新，一是開發者現在透過DirectML，就能享有Windows作業系統對PyTorch開發框架的原生支援。這意味著，Hugging Face上的上千個模型終於能在Windows中執行，同時，微軟也正式推出GPU對PyTorch的支援，NPU支援也即將上線。

另一個底層更新是WebNN，也就是網頁原生的機器學習框架，可在Windows作業程式中透過DirectML和ONNX Runtime Web來執行。這個WebNN目前為開發者預覽版，它的出現，能讓開發者更好地利用裝置硬體資源，來提供更好的AI網頁App體驗。

新添33億參數SOTA小模型Phi-Silica，另推多款API

往上一層，就是Windows Copilot函示庫與裝置端模型層。這層包含了由40多個裝置端AI模型驅動的API、向量儲存庫和演算法。在這層的模型部分，Satya宣布Phi系列模型正式可用、Phi-3-vision開始預覽，並揭露最新、只有33億參數的SOTA小型語言模型Phi-Silica，專為Copilot+ PC和NPU設計而成。

不只模型，在API部分也有重磅更新，包括Studio Effects、即時字幕翻譯、OCR、Recall with User Activity和Phi Silica等API將於6月向開發者提供，之後會再納入向量嵌入、支援地端資料的檢索增強生成（RAG）、文字摘要和其他API。

推出更多AI App，還整合第三方App強化AI功能

再往上一層，到應用程式和體驗層，這層的新進展包括微軟最新開發的AI App，如回顧（Recall）、圖像創作（Cocreator）、即時字幕翻譯（Live Caption）、風格編輯（Restyle Image）等。其中，回顧是透過對螢幕快照，來讓使用者以關鍵字，進行語意搜尋、找出所需資訊，不論是網頁、簡報還是對話都可以。圖像創作則以小型語言模型和Stable Diffusion等擴散模型驅動，可根據文字提示和簡單筆畫，來產出逼真的圖像。即時字幕則支援筆電上任何音訊的語言翻譯，可將40多種語言翻譯為英文，離線也行。

同時，微軟Windows Copilot Runtime還正整合多個第三方應用程式，如Davinci Resolve、CapCut、WhatsApp、Cephable、LiquidText、Luminar Neo等，要用NPU來優化這些程式的AI功能。

亮點2：更完善的Copilot技術架構

「我們一直是平臺公司，要建造完整的技術架構！」Satya解釋，Copilot技術架構（Tech Stack）就是一大重點，從底層開始向上，可分為AI基礎設施、基礎模型、資料、AI調度與工具鏈，以及最上層的微軟Copilot/自建Copilot、Copilot外掛等。微軟今年大會的重點更新，也圍繞這個架構展開。

就AI基礎設施層而言，Satya回顧，微軟已在60多個區域建置資料中心，過去一年也在日本、法國、墨西哥等地打造資料中心。他點出，微軟接下來要在2025年前，將資料中心全數採用再生能源，不產生任何碳排。同時，在硬體部分，微軟還正式推出基於AMD最新Instinct GPU的處理器ND MI300X v5，可更快、更有效率執行AI應用，另也公開預覽Cobalt 100晶片。

AI開發環境Azure AI Studio正式上架GPT-4o，納入更多安全工具

在基礎模型層部分，不只正式在Azure AI中上架GPT-4o，也和Hugging Face擴大合作、納入所有Hugging Face模型到Azure AI Studio中，另也推出上述提到的42億參數Phi-3-vision模型。而AI開發工具Azure AI Studio也正式上線，可用來打造AI應用。

甚至，在Azure AI Studio中，還包含即將上線的安全工具與功能，包括自定義類別（將上線）、提示盾（預覽）、基準偵測（預覽）等。而且，Azure AI Studio還推出客製化模型功能，允許使用者用自己的資料訓練客製化模型。

能即時處理PB級串流資料了，資料分析平臺推出新功能

往上一層到資料層，重大更新莫屬微軟自家的資料分析平臺Microsoft Fabric，特別針對企業難以處理的資料即時分析，推出一項無程式碼/低程式碼的即時智慧（Real-Time Intelligence）SaaS解決方案。Satya強調，使用者可透過這個功能，來更快速處理大量、顆粒度更細緻的數據。

這項即時智慧目前為公開預覽版，因為無/低程式碼特性，分析師能簡單上手，另也能針對專業開發者提供完整的程式碼使用介面。比如，巴西極限賽車隊Dener Motorsport一直用這個平臺來支援即時分析和通報，來維持最佳表現、確保車子狀態，他們現在打算用即時智慧，來在比賽當下，直接分析資料、調整贏賽策略。

不只是即時智慧，為降低App開發門檻，微軟還在Fabric平臺中新添工作負載開發套件（Workload Development Kit），能讓獨立軟體商和開發者，用來打造更一致的使用者體驗應用。

AI工具鏈新添更強大的開發外掛GitHub Copilot Extensions

再來，在AI調度與工具鏈層，微軟本身就有套AI專用的資訊檢索平臺Azure AI Search、預覽版的AI程式開發工具GitHub Copilot Workspace。今天，Satya進一步揭露程式開發外掛GitHub Copilot Extensions（私人預覽），開發者可用透過自然語言和自己習慣的工具，來打造、部署雲端應用，完全不必離開開發環境IDE或GitHub網站。這些外掛包含微軟開發和第三方合作夥伴開發的，第一波新添16個外掛，來自DataStax、Docker、LambdaTest、LaunchDarkly、Microsoft Azure和Teams、MongoDB等，建立更好的AI開發第三方生態系。

這些外掛，可讓開發者用來客製自己的GitHub Copilot體驗。比如，微軟打造的GitHub Copilot for Azure外掛，就能讓開發者用自然語言，來探索、管理Azure資源，同時還能排除問題、尋找相關日誌和程式碼。

推出微軟Copilot Connector，跨App、工作流程打造客製化智慧助理

工具層之上來到應用層，在這層，微軟推出Microsoft Copilot Connector連結器，可讓Copilot助理摒除障礙存取使用者資料、跨App和工作流程處理，來幫助使用者打造客製化模型。

不只如此，今年，微軟繼續延伸Copilot產品線，針對M365 Copilot推出協作助理Team Copilot，專門處理複雜的協作任務，比如可在協作工具Teams中管理會議、安排議程、管理時間和記錄重點。同時，它還能管理Teams對話，摘要重要資訊、回覆群組問題等。甚至能扮演PM角色，確保任務管理看板Planner中的每個專案順利進行，同時也會在Loop應用中通知團隊新消息、加強專案協作。這個Team Copilot預計今年晚些時候預覽。

另一項Copilot產品線的延伸，則是在低程式碼助理開發平臺Microsoft Copilot Studio中，新添代理（Agent）的能力類別，讓開發者用來打造能主動回應數據和事件的智慧助理，還能執行特定任務和功能。微軟表示，用這個新能力打造的Copilot助理，可用學習到的知識和使用者回饋，來獨立管理複雜、長期的業務流程，甚至能在遇到棘手問題時，尋求使用者幫助。