【微軟Build 2024 AI戰略1】微軟Copilot技術架構大更新，深度優化智慧助理開發體驗

今年5月21日，微軟執行長Satya Nadella現身西雅圖會議中心，揭開微軟Build 2024技術大會的序幕。他用將近1小時的時間，揭露微軟今年度2大AI新戰略以及共數十項的重大新進展。

其中一大戰略就是微軟Copilot架構（Microsoft Copilot Stack）更新。「我們一直是平臺公司，」Satya說明：「我們的目標是打造最完整的端到端技術架構，涵蓋基礎設施、模型、資料、工具再到應用擴充外掛。如此，使用者就能用來打造專屬應用！」

這句話點出了Copilot架構鎖定的目標族群和重要性：開發者與AI驅動的個人化助理應用。一如Satya所言，這個微軟Copilot架構更新層面廣泛，涵蓋了底層、應用層和AI安全與資安層等3大層，每層皆有重要突破，加總起來強化了Copilot智慧助理的開發便利性。

微軟執行長Satya Nadella揭露今年度微軟AI戰略之一的Copilot技術架構更新，如AI基礎設施的資料中心將在2025年全面採用再生能源、基礎模型層新添更多第三方和微軟Phi系列基礎模型，資料層則推出PB級即時串流資料分析服務等。

底層更新1：資料中心擁抱新能源與算力突破

延續上述的Copilot技術架構底層，可細分為AI基礎設施層、基礎模型層、資料層、AI調度與工具鏈層。

就AI基礎設施層來說，目前微軟已在60多個區域建置資料中心，過去1年也在日本、法國、墨西哥、馬來西亞等地打造新資料中心。Satya點出，微軟接下來要在2025年前，將資料中心全數採用再生能源，不產生任何碳排。而且，他們最新的資料中心專為AI設計，結合新的冷卻技術，來大幅優化執行效率、降低能耗成本。這是微軟資料中心的發展新策略，是驅動所有開發和應用運算的關鍵。

不只資料中心，基礎設施層還包括了AI加速器、I／O設備、網路等硬體設備的更新。在這部分，「過去6個月以來，微軟不只將Azure雲端超級算力提高了30倍，」Satya表示，今年還要新添Nvidia H200 GPU到微軟Azure雲端算力，且微軟也將是第一批提供Nvidia Blackwell GPU配置（含B100和GB200）的雲端供應商。

同時，微軟還布局虛擬機器與加速開發配套，正式推出基於AMD最新Instinct GPU的虛擬機器ND MI300X v5，配有更高的頻寬記憶體，可更快、更有效率執行AI模型推論，優化AI應用體驗。這系列虛擬機器，還搭配AMD ROCm開源軟體平臺，開發者可存取該平臺的AI開發部署工具和函式庫，如TensorFlow、PyTorch等熱門框架，或ONNX Runtime、DeepSpeed和 MSCCL等AI加速的微軟函式庫，來縮短AI開發部署時間。

除了ND MI300X v5，微軟還有另一系列虛擬機器進入公開預覽，包括通用型的Dpsv6系列、Dplsv6系列，以及記憶體優化的Epsv6系列虛擬機器。這些虛擬機器採用Azure Cobalt 100處理器，專門用來高效率執行雲原生運算解決方案，甚至，微軟自己就用於影片處理、M365許可管理等任務，還「驅動了微軟Teams這類服務上數十億的對話。」Satya指出，根據微軟測試，Cobalt 100可提高40%效能，大幅優化作業表現。他期盼將這些優秀的基礎設施工具，能讓更多企業和開發者享用。

從資料中心的能源政策、雲端算力的躍升再到虛擬機器的加速，都為Copilot開發提供更快速的基礎。

底層更新2：GPT-4o正式上架、更多Phi系列模型

AI基礎設施往上一層，來到了基礎模型層。

這層亮點也不少，聚焦第三方模型的整合和自家模型更新。首先，微軟AI開發平臺Azure AI中有套生成式AI開發工具Azure AI Studio，這次正式上線，其上的多模態模型GPT-4o也進入正式版本，以模型形式和API形式供開發者取用、打造AI應用。

再來，Azure AI Studio還提供模型即服務（MaaS），裡面正新添各種語言模型，提供隨用隨附的模型API和託管式微調功能，讓開發者用來打造生成式AI應用。在這次更新中，MaaS新添了Core42的JAIS、Nixtla的TimeGEN-1等2款模型預覽版，Satya預告，接下來還會新添來自AI21、Bria AI、Gretel Labs、NTT DATA、Stability AI和Cohere Rerank等AI領先者旗下的模型預覽版，同時簡化應用程式的整合與微調工作，讓開發者不必管理底層GPU等基礎設施，就能順利開發AI應用。

在整合第三方模型的策略上，微軟繼續擴大與Hugging Face的合作，將所有Hugging Face上的開源模型也納入Azure AI Studio，更方便開發者取用。

除此之外，微軟也繼續拓展自研的Phi系列小型語言模型，新添42億參數的Phi-3-vision模型預覽版，可用來執行視覺任務，如處理圖表、圖形和表格等資訊。同時，微軟先前發表的Phi-3-mini、Phi-3-small和Phi-3-medium三款模型，也在MaaS中進入正式版本。Azure AI Studio還推出客製化模型功能，使用者可用自己的資料訓練模型，更客製化。

所以，微軟基礎模型層的新進展，就聚焦於第三方模型整合和自家Phi系列模型更新。

不過，Satya也補充，為確保這些模型產出正確內容，Azure AI Studio也新添內容安全工具和功能，包括即將推出的自定義類別（Custom Categories）、預覽版的提示盾（Prompt Shields）和基準偵測（Groundedness Detection），其中自定義類別可讓使用者自定過濾器，最快不到1小時就能部署過濾器來把關生成式AI應用程式。提示盾和基準偵測則能偵測模型是否產生幻覺，還能介入間接或越獄提示攻擊。

底層更新3：能即時處理PB級串流資料了

從基礎模型層往上，就是微軟Copilot架構的資料層。在這裡，微軟布局紮實，早有一系列資料處理工具來提供服務，如Azure SQL DB、Azure Cosmos DB、Azure for PostgreSQL、MySQL、Azure AI、Azure Databricks和Microsoft Purview等。

而今年的資料層一大進展，就鎖定擁有1萬1千多名企業用戶的資料分析平臺Microsoft Fabric。微軟特別針對企業難以處理的資料即時分析，在該平臺上新添一項無程式碼／低程式碼的即時智慧（Real-Time Intelligence）SaaS解決方案。Satya強調，使用者透過這個功能，可更快速處理大量、顆粒度更細緻的數據，包括PB級的即時串流資料分析。

這項即時智慧目前為公開預覽版，也因為低程式碼特性，分析師能簡單上手，另對專業開發者，也提供完整的程式碼使用介面。尤其，巴西極限賽車隊Dener Motorsport一直用這個平臺來支援即時分析和通報，現在他們計畫用即時智慧，來在比賽當下，直接分析資料、調整贏賽策略。

不只瞄準即時串流資料分析，為降低App開發門檻，微軟還在Fabric平臺中新添工作負載開發套件（Workload Development Kit），能讓獨立軟體商和開發者，用來打造更一致的使用者體驗應用。該套件目前為預覽版。

另一大重點，則與檢索增強生成（RAG）相關。

自以大型語言模型驅動的生成式AI興起後，RAG就成為降低模型幻覺和胡言亂語的重要技術，微軟也早已打造AI資訊檢索平臺Azure AI Search，來支援各種規模的RAG應用，甚至「連ChatGPT、Assistant API等都靠Azure AI Search來完成。」Satya點出，在這次更新中，Azure AI Search整合了OneLake資料湖，可自動索引非結構化資料，使用者也能在Microsoft Fabric直接使用Azure AI Search，擴大RAG可索引和搜尋的範圍，讓模型回答更精準。

也就是說，在資料層，微軟更新策略鎖定巨量資料即時分析和RAG範圍擴增，後者也搭配基礎模型提供更好的回答體驗。

底層更新4：AI工具鏈添新外掛

再來，AI調度與工具鏈層的新進展，是微軟延伸2年前新闢的GitHub Copilot開發助理戰線。該助理至今累積了180萬名訂閱者、共5萬多家組織使用，微軟還在今年4月底，聯手GitHub推出私有預覽版的AI程式開發工具GitHub Copilot Workspace，開發者用自然語言就能規畫、建置、測試和執行程式碼，加速軟體開發流程。Satya在這次大會上就透露，接下來幾個月，微軟將開放讓更多人使用這套工具。

不只如此，Sayta進一步揭露該工具的程式開發新外掛GitHub Copilot Extensions，一樣是私有預覽版，開發者可用自然語言和自己習慣的第三方工具，來打造、部署雲端應用，完全不必離開開發環境IDE或GitHub網站。這些外掛包含微軟自己開發的和第三方合作夥伴開發的，第一波就有16個外掛，來自DataStax、Docker、LambdaTest、LaunchDarkly、Microsoft Azure和Teams、MongoDB等，建立更好的AI開發第三方生態系。

這些外掛，還可讓開發者用來客製自己的GitHub Copilot應用。比如，微軟自己就打造一款GitHub Copilot for Azure外掛，能讓開發者用自然語言來探索、管理Azure資源，還能排除問題、尋找相關日誌和程式碼。

所以在AI調度與工具層，微軟主打開發者助理外掛，來提高開發便利性。

應用層更新：擴大客製範圍、新推協作助理

接著進入應用層，Satya將新進展分為「個人、團隊、代理（Agent）」等三大層次。

就個人層次來說，指的是Copilot應用客製化，微軟一樣走整合擴展路線，在Copilot Studio助理開發平臺中，新添Microsoft Copilot Connector連結器預覽版，可助Copilot摒除障礙，跨App和工作流程存取使用者資料，更好地打造客製化應用。因為，這個連結器集結了微軟Graph和Power平臺的連結器、微軟Fabric平臺的AI技能和微軟Dataverse平臺，來讓第一方和第三方的Copilot整合知識、更快落地。

再來，「團隊」是指Copilot協作應用，微軟針對既有的M365 Copilot，新推一款協作助理Team Copilot，專門處理複雜的協作任務。比如，它可在協作工具Teams中管理會議、安排議程、管理時間和記錄重點，還能管理Teams對話，摘要重要資訊、回覆群組問題等。甚至能扮演PM角色，確保任務管理看板Planner中的每個專案順利進行，同時也會在Loop應用中通知團隊新消息、加強專案協作。這款Team Copilot預計今年晚些時候預覽。

最後，在代理層次，微軟在低程式碼助理開發平臺Microsoft Copilot Studio中，增添新的代理能力類別，開發者只要輸入工作描述、提供相關知識，或點選預設的模板，就能打造能主動回應數據和事件的智慧助理，還能執行特定任務與功能。

Satya還強調，用這個新能力打造的Copilot助理，可用學習到的知識和使用者回饋，來獨立管理複雜、冗長的業務流程，甚至能在遇到棘手問題時，主動尋求使用者幫助。

可以說，微軟用個人客製化、團隊協作應用、更聰明且個人化的代理能力，來優化Copilot的應用體驗。

 相關報導