OpenAI發表支援128K脈絡的GPT-4 Turbo，調降模型費用

OpenAI周一（11/6）發表了支援128K脈絡（Context Window）的GPT-4 Turbo預覽版，推出新的Assistants API，以及API的多種新功能，同時宣布降價，不管是新的GPT-4 Turbo，或是既有的GPT-3.5 Turbo與Fine-tuned GPT-3.5 Turbo 4K都比過去更便宜。

繼於今年7月全面釋出GPT-4 API之後，OpenAI本周開始預覽更強大的GPT-4 Turbo。GPT-4 Turbo預覽版所使用的訓練資料最新日期為2023年4月，所支援的脈絡長度為12.8萬（128K）個Token，最大的輸出Token數量為4,096個。相較之下，GPT-4訓練資料的最新日期依舊是2021年9月，所支援的最長脈絡是32,768個Token。

Token為GPT等基於Transformer架構之語言模型的基本概念，指的是模型可處理的文字單位，根據OpenAI的說明，一個Token大約等於4個英文字母；至於脈絡（Context Window）長度指的則是GPT在生成答案時，所參考的歷史資料範圍，包括使用者曾經輸入的文字或是GPT曾產生的答案，此一功能令GPT得以根據使用者詢問的脈絡持續給出相關的答案，支援12.8萬個Token代表GPT-4 Turbo最多可容納或考慮逾300頁的文字。

此外，GPT-4 Turbo改善了函數呼叫功能，可於單一訊息中呼叫多個函數，並提高了函數呼叫的準確性；強化對指令的遵循及對JSON模式的支援；新增seed參數來重製輸出；並預計於未來幾周釋出一新功能，以回傳GPT-4 Turbo及GPT-3.5 Turbo最有可能輸出之Token的Log Probability。

所有付費開發者皆可於API請求中，加入gpt-4-1106-preview來預覽GPT-4 Turbo，正式版可望於數周後出爐。

在釋出GPT-4 Turbo的同時，OpenAI也更新了GPT-3.5 Turbo，新版GPT-3.5 Turbo預設即支援16K的脈絡長度，亦改善指令遵循、對JSON模式的支援與並行函數呼叫。

全新的Assistants API將協助開發者於自己的應用中，打造類似代理人的體驗，透過該API所打造的AI助理具備特定指令，利用額外的知識並可呼叫模型與工具來執行任務，包括Code Interpreter、Retrieval與函數呼叫等，所採用的技術與OpenAI同一天發表的GTPs產品一致。

Assistants API的一項重要變更是具備持續且無限長度的執行緒，允許開發者將執行緒的狀態管理交給OpenAI，以克服脈絡長度的限制。Assistants API現為測試版，即日起開放所有開發者試用。

OpenAI本周亦發表多種API的新用途，包括GPT-4 Turbo在Chat Completions API中可接受影像輸入，以用來生成標題、分析真實世界的圖像，或是閱讀具備圖形的檔案；或是透過Images API直接將DALL·E整合至應用程式或產品中；以及利用Text To Speech（TTS）API來生成人類品質的語音，它內建了6種語音與2種模型，有一模型可供即時使用，另一模型則針對品質進行了最佳化。

OpenAI亦宣布調降GPT-4 Turbo、GPT-3.5 Turbo與Fine-tuned GPT-3.5 Turbo 4K的價格，現在GPT-4 Turbo每千個Token的輸入為0.01美元，輸出為0.03美元，價格分別是GPT-4的1/3及2/1；GPT-3.5 Turbo每千個Token的輸入價格為0.001美元，輸出為0.002美元，亦分別是先前16K模型的3/1與2/1；Fine-tuned GPT-3.5 Turbo 4K的最新價格是每千個Token的輸入為0.003美元，輸出為0.006美元，是之前的1/4及近1/3。