OpenAI新AI多模模型GPT-4o提供所有ChatGPT用戶，速度更快，價格減半

經過上周賣關子吊足媒體胃口之後，OpenAI昨（13）日宣布最新多模AI模型GPT-4o，將提供給所有ChatGPT服務，包括免費版本。對開發人員而言，新模型比GPT-4T速度快2倍，限制頻寬提高5倍，價格僅一半。

OpenAI執行長Sam Altman指出，GPT-4o更聰明，更快，且具原生多模能力。文字及圖片輸入能力現在將逐步部署到ChatGPT，包括免費版，但暫時不能生成圖片，也還不會輸出、輸入語音。

最新宣布讓上周猜測的媒體撲了個空。彭博、The Information、路透社相繼報導OpenAI將推出搜尋服務挑戰Google及Perplexity AI。但周末Altman預告，不是GPT-5，也不是搜尋引擎，而是「像魔法一般的」ChatGPT及GPT-4更新功能。

GPT-4o的o代表的是omni，意謂著可接受文字、聲音和圖像任何組合的提示輸入，而且生成的輸出也可以是文字、聲音和圖像的整合。OpenAI強調GPT-4o具高效能，平均320毫秒即可對聲音輸入產生回應，等同人類反應時間，最快則只需232毫秒。

一如所有廠商公布新模型的作法，OpenAI也提供數據，顯示GPT-4o視覺及聲音理解能力比前代及競爭者更優異，其中在文字、理解、程式撰寫效能已具GPT-4 Turbo水準，在多語能力（尤其是英文）、聲音翻譯和視覺理解能力都比GPT-4、GPT-4T、Claude 3 Opus、Gemini Pro 1.5、Meta Llama3 400b來得高。

圖片來源／OpenAI

OpenAI解釋新模型的語音模式效能提升的原因。過去GPT-3.5及GPT-4下的語音模式運作是以三個模型接續運作而成：第一個模型將聲音轉錄成文字，由GPT-3.5或GPT-4產出文字對話內容，再由第三個模型將文字轉回聲音。不但增長延遲性，且因過程中GPT-3.5或GPT-4模型喪失大量資訊，使其無法觀察出聲調、多名說話者、背景噪音，也無法產出笑聲、不會唱歌或表達情緒。但GPT-4o是能具備文字、視覺和聲音理解能力的單一模型，輸出輸入都在同一神經網路中處理而成，使互動能力速度和表現豐富度大增。

OpenAI並提供多段影片展示新模型的能力，包括二個GPT-4o為基礎的聊天機器人扮演手機業者客服中心人員和客戶交談；一個聊天機器人問問題，另一個則描述它「看」到的OpenAI員工影像描述，前者還能根據其描述即興創作歌唱；以及聊天機器人可和OpenAI員工流暢對談，其間還能發出笑聲，或是在人類插嘴打斷時自動停下來。

影片中的聊天機器人聲音自然生動，媒體形容很像Altman最喜歡的電影《雲端情人》（Her）女主角Scarlett Johansson的聲音。

不過，在說明GPT-4o強大能力後，OpenAI強調它的安全性。根據其整備度框架（Preparedness Framework）及人類評估，新模型在網路安全、CBRN（化學、生物、放射及核能）威脅、誘騙（persuasion）能力及模型自主能力都在中度以下。該公司也強調GPT-4o經過外部團隊及70多名外部跨領域專家評估，協助減低可能的社會心理、偏見及假訊息風險。

OpenAI今天起將GPT-4o的文字及圖像輸入、以及文字輸出能力逐步部署到所有ChatGPT，包括免費版，但付費的Plus版，訊息輸入上限為5倍之多。為了因應ChatGPT語音模式（voice mode）可能的語音deepfake風險，聲音輸出僅侷限數種限定的聲音，也說都會遵循現有安全政策。GPT-4o為基礎的語音模式alpha版，未來幾個星期內只會提供給ChatGPT Plus。

針對開發人員，現在可以API存取GPT-4o文字和視覺模型。相較GPT-4 Turbo，新模型速度快2倍，限制頻寬提高5倍，價格僅一半。OpenAI計畫幾周內，會對少數用戶及信任夥伴提供聲音和影片功能。