【微軟專家剖析企業採用關鍵考量】Azure OpenAI導入前得先知道這4件事

在OpenAI推出ChatGPT API的一周後，微軟即在自家Azure OpenAI服務推出企業級ChatGPT 模型的API。Azure OpenAI原本已經有DALL-E、GPT-3、Codex等大型生成式AI模型API的存取選項。微軟大中華區Azure BG資深市場策略經理陳婉瑜表示，自Azure OpenAI開放申請使用的一個多月以來，不僅受到多國企業關注，也有臺灣企業看到生成式應用價值。國外企業申請以遊戲業和零售業最為熱烈，臺灣則是製造、金融、政府、教育等產業的企業或機構較多。

陳婉瑜表示：「OpenAI的服務傾向研究和實驗使用，Azure OpenAI則注重商業上的可用性。」企業用戶在應用ChatGPT等生成式AI時，必須比一般使用者謹慎，因此Azure的OpenAI服務，雖然技術與OpenAI服務基本相同，但設計了更多瞄準企業需求的機制。

重點1：企業應了解OpenAI的服務可用性及運算資源限制是否符合需求

根據OpenAI服務狀態網頁，網頁版ChatGPT和ChatGPT API的每個月的服務可用時間都在98%至99%間浮動。雖然對於個人級別的使用場景而言，1個月中有只有14個小時不能使用ChatGPT並不會造成太大困擾，但對企業來說，若服務中斷於流量高峰期等關鍵時刻，就可能帶來巨大損失。

OpenAI沒有對ChatGPT的服務可用性作出任何承諾，因此企業難以衡量服務中斷的風險。微軟Azure OpenAI則提供了服務水準協議（Service Level Agreement, SLA），保證提供99.9%服務可用性，這也適用於ChatGPT模型的API。換句話說，平均1個月最多只會有40分鐘的服務中斷時間。有了SLA，企業更容易評估服務中斷的風險，也能根據SLA來設計對應的失效安全措施。不只如此，服務可用時間高達99.9%，代表企業將ChatGPT等AI模型應用到更多系統時，服務中斷的風險相比只有98%到99%可用性的OpenAI服務低上不少。這也有利於企業維運與顧客觀感有關或要求高度可用性的系統。

除了可用性外，運算資源也是企業必須考量到的一大重點。根據Azure OpenAI官網，目前微軟版ChatGPT給企業用戶的預設運算上限是每個模型每分鐘接受300份請求、120,000個Token，每個資料中心區域（Region）能動用的基礎架構資源（Resource）上限為2份。也就是說，1個企業用戶每分鐘最多能送出600份請求、240,000個Token。當然，若企業要提升使用量，也能專案申請加價購買。不過這也意味著，企業應用ChatGPT及Azure OpenAI上其他模型時，須考量應用場景和規模，以免造成請求量過載，或成本超出預期。

Azure OpenAI版的ChatGPT介面。與OpenAI推出的ChatGPT API一樣，使用者可以調整Temperature、Top Probabilities、最長Tokens長度等參數，來控制ChatGPT輸出回覆的傾向。

重點2：企業應了解如何防範不當內容及控管資料存取權限

在開始應用ChatGPT等生成式AI前，企業必須先客製化AI模型，將企業內部資料或業務邏輯輸入AI模型。企業客製化AI模型時，一種常用方法是微調（Fine tune）。台灣微軟技術架構師黃耀逸解釋，微調的原理是改變回覆字句的權重，讓AI有更高機率回答出貼近企業需求的答案。不過，自ChatGPT問世以來，網路上已經流傳著許多案例，證明讓AI做出不恰當或不雅的回覆，是相當容易的事。

因此，黃耀逸建議，在微調模型時，不只要將希望AI回答的字句訓練進去，還要同時規範AI不應回答的內容，也就是將不當字句的回覆權重調低。同時，微軟的Azure OpenAI服務也內建內容過濾器，排除情色、暴力、歧視、仇恨言論等內容。

企業另一項常見需求是，為了符合不同角色工作需求或保護企業高敏感度資料，必須依照身分來區分AI對使用者輸出的內容，例如基層員工不能從AI問出企業高層才有權限取得的營業資料。因此，企業不論是將生成式AI整合到對外溝通工具，還是用於營業數據分析、知識管理等內部用途，都有必要控管回覆內容。

黃耀逸說，Azure OpenAI可以整合企業既有Azure AD身分管理服務服務，來辨認詢問者身分。企業可以先設定不同內容過濾器，甚至微調出不同版本的模型，例如一個基層員工模型、一個高層主管模型，再要求Azure OpenAI依照詢問者身份，根據權限來過濾特定問答，或切換到對應的模型。

重點3：企業應了解OpenAI問答內容有可能經過人工審查

OpenAI版的ChatGPT會保留問答內容30天，以便在需要時，人工審查不當內容。儘管OpenAI強調，不會將這些資料用來訓練自家模型，但對企業來說，既然資料會在自己無法控管的環境中保留，還有可能遭真人存取，難免會擔心敏感資料外洩。

微軟版ChatGPT則多了一些彈性。陳婉瑜表示，原則上微軟也會保留問答資料30天，若自動內容過濾機制難以判斷內容是否合乎規範，就會調出資料來人工審查。不過，考量到有些企業對於資料保護的需求，微軟接受企業申請免除審查，以降低資料外洩風險。目前申請通過的情況依個案情況而定，沒有明文規定豁免審查的細項條件。

資料傳輸方法上，Azure OpenAI服務可以透過私有網路VLAN傳輸資料，企業還能以自有私鑰來加密傳輸過程，安全性較高。相較之下，企業使用OpenAI服務時，是透過一般網際網路的加密協定來上傳資料，因此傳輸過程的安全性較低。

重點4：Azure策略是快速跟進OpenAI主要模型重大更新

陳婉瑜表示，未來微軟與OpenAI的模型更新會盡量同步。若OpenAI的主要模型有重大更新，Azure OpenAI也會盡快跟進。舉例來說，OpenAI 3月1日發布了使用GPT-3.5-Turbo模型的ChatGPT API，微軟同月8日就跟上了。她並強調，考量到企業用戶對穩定性的需求更高，微軟只會跟進重大版本更新，重大版本間的小型更新則不一定會跟上。

陳婉瑜補充，雖然新模型發布時間較OpenAI晚，但Azure OpenAI服務會和Azure許多服務高度整合，是OpenAI版較難做到的，例如和Azure虛擬網路運行環境VNet中的各式服務整合，或是結合Azure AD，來控管使用者的問答權限。

 相關報導