【微軟AI新戰略2】打造全流程Copilot建置及管理平臺，更整合提示工程優化生成

微軟要擴大企業對生成式AI對話應用Copilot的採用並建立開發生態系，除了推出外掛擴充功能，另一個關鍵是提供了一個全套式AI Copilot建置及管理工具平臺，稱作Azure AI Studio，涵蓋了Copilot應用生命周期的各階段，從AI基礎模型的建立、訓練、評估到部署過程，更整合提示工程（Prompt engineering）優化流程，讓企業用系統化方式來調校和管理多種提高模型回答準確率的提示。

在Azure AI Studio中，提供了多種企業Copilot應用開發所需的工具或功能，支援模型建立、訓練、評估和部署。舉例來說，在建立模型時，可以透過數據連接與匯入功能，迅速取得本地檔案、公開網頁及資料集的資料。在訓練模型階段，還可以搭配不同運算實例進行訓練，並能利用內建評估機制比較多個訓練完的模型，以選擇最佳模型。最後將訓練完的模型部署到正式環境，實現快速的應用部署。

去年，微軟也有展示過類似的平臺，取名為OpenAI Studio，但它的功能不如AI Studio完整，雖然可以用來管理所有的Azure OpenAI模型和部署相關AI服務，但不能訓練，僅能微調模型，而且無法使用企業自己的LLM模型。直到AI Studio推出後，現在終於有了一個完整的開發工具。

特色1：Chat playground不只能建模型，還具有即時測試能力

從Azure AI Studio工具平臺中，還可以整理出和一般AI開發工具不同的特色，是針對生成式AI需求的設計。其中一個重要的特色，就是提供名為Chat playground的開發建置工具，這個工具讓開發人員能夠在Chat playground中直接選擇所需的GPT或其他語言模型，並配置相關參數，就能進行模型的開發和測試。

Chat playground本身支援了多種來源的數據匯入功能，包括Azure Blob Storage、 Cosmos DB與Azure Cognitive Search，其中，Azure Cognitive Search還具有更進階的向量索引功能，可以將存放在資料庫中的文件編製成向量索引，用於建構和測試embedding模型。此外，企業還可以上傳自己的檔案或資料庫中非結構和結構化資料。

Chat playground不只是模型建立用的工具，還提供了即時測試的功能。開發者可以在它提供的一個自然語言互動介面中輸入提問並與模型進行互動，即時看到模型生成的回答，幫助他們測試和驗證模型的效果。

「透過這套工具，企業更容易將自身資料應用於LLM模型並結合主流開發工具，使其生成內容更貼近企業特定需求和內部應用場景，帶來更好的Copilot體驗。」微軟雲端及AI事業群副總裁Scott Guthrie強調。

在AI基礎模型選用方面，微軟整合了三種不同來源的基礎模型於該模型目錄中，有來自Azure OpenAI服務的GPT模型（如GPT 3/4、ChatGPT 35 Turbo等），還有Hugging Face社群和合作夥伴提供的模型，以及上千個開源AI模型（如GPT-2、Whisper、BERT ）。開發人員可以依據不同的場景和需求，選擇適合的模型進行開發。不過該目錄功能目前還是預覽版。

在這個Azure AI Studio工具平臺中，提供名為Chat playground的開發建置工具，除了可以建立模型，還具有即時測試的能力，讓開發者可以輸入提問並與模型進行互動，並即時看到模型生成的回答，用於測試和驗證模型的效果。（圖片來源／微軟）

特色2：首次整合提示工程流程，優化生成提示提高回答精準度

針對生成式AI應用，透過提示工程來優化Copilot生成的結果，更符合企業的需求，是一大關鍵。尤其，無論是Copilot使用的GPT模型還是企業自己的LLM模型，生成相應結果時都需要適當的提示，來引導語言模型生成符合預期的回應，這些提示包括了關鍵詞、問題描述、上下文訊息等，這也使得提示工程作為生成式AI的新興領域近來越來越受到關注。

為了滿足這個需求，微軟在AI Studio中推出了Prompt flow生成提示工程工具。這是一個用於模型訓練完成後的優化工具，可以提高模型回答的精準度。在Prompt flow工具中整合了提示工程流程和方法，涵蓋了與提示相關的所有作業流程，包括構建、調度、評估、測試、部署和監控等。「使用Prompt flow，開發者可以方便設計、優化和管理生成提示，引導AI模型生成更強大且更具體的回應給使用者。」Sco Guthrie表示。

值得一提的是，Azure AI Studio還有一個提示流程圖（Prompt Flow Graph），提供了包含輸入問題、提示建立、提示整合，到LLM模型回應及輸出過程。從這個流程圖中，開發者不僅能夠掌握每個提示的建立過程，還能查看流程中每個步驟的輸入和輸出，了解各流程環節對模型回應的影響， 並通過不斷微調和實驗進一步優化和改進模型的輸出品質。

在這個提示工程工具中，還提供多種提示相關設計的模板和範例供開發人員參考，還可以結合內部數據來獲得更詳細的提示設計。開發團隊也能整合GPT模型或他們自己的LLM模型到這個流程中來運用，並支援了主流LLM開源工具和框架，如Semantic Kernel、LangChain等。

倘若遇到需處理搜尋或推薦相關的內容生成時，Azure AI Studio也能支援增強式檢索生成（retrieval-augmented generation，RAG）做法，作為調用LLM模型的預處理機制。例如在模型推論以前可以利用這個做法，針對向量資料庫進行檢索，找到與提示相關的上下文資料，然後將這些上下文資料和原始提示一起輸入到模型中， 藉由提高提示內容的相關性，使模型更好地理解問題並生成回答，改善其回答品質和準確度。

Prompt flow是一個用於模型訓練完成後的優化工具，可以提高模型回答的精準度。該工具整合了提示工程流程和方法，涵蓋了與提示相關的所有作業流程，包括構建、調度、評估、測試、部署和監控等。（圖片來源／微軟）

特色3：加入生成提示的過濾機制，加強把關不當內容

除了透過提示工程提高模型回答的準確度之外，微軟還在AI Studio中設計了AI security內容安全服務，進一步管制模型推論結果。該服務結合了兩道防護機制，其中一個是AI提示內容的過濾機制，可以用於測試和評估每次提示的內容，檢查是否有包含暴力、仇恨、性等不當提示內容，也可以設定偏差閾值或使用黑名單來管控這些內容，避免模型做出意外的回答。

還有一個是Metaprompt微調功能，作為第二道內容過濾防護機制，開發者能用自然語言的方式事先說明模型需遵循的安全規範，並在每次提示輸入時，將這些安全要求與原始提示輸入到模型，讓生成的內容能夠符合其指定的安全標準或指導方針，提供更可靠和符合預期的回應。例如，可以指定模型不回答特定的敏感主題或不提供具有危害的建議。

特色4：建立模型推論評估機制，還兼具維運監測功能

Azure AI Studio不只提供開發及測試，還具有完整的部署平臺，除了提供藍綠部署和測試，也提供維運監測功能，確保部署的模型在生產環境中穩定運作，並符合其提示設計的要求，生成預期的回答。還提供版本管理功能，方便開發及維運人員管理不同或新舊提示版本。

部署前，還可透過其內建的評估機制比較不同提示版本之間的差異對於最後模型推論的影響，並從中選擇最佳的提示版本用於生產環境。另外，還能查看每個執行步驟花費的時間長短，優化整個提示流程，來提升模型回應的速度。

 相關報導