語言模型GPT-3現新增文字編輯和插入功能

OpenAI發布新的GPT-3和Codex語言模型，可以在現有文字中編輯或是插入內容，而非僅是補完現有文字。官方提到，這些新功能讓OpenAI API有能力修改現有內容，像是重寫一段文字或是重構程式碼，Codex插入功能已經在GitHub Copilot中進行測試，獲得良好的初期成果。

Codex是衍生自GPT-3的模型，可以理解和產生程式碼，該模型使用的訓練資料，包括自然語言和來自GitHub的數十億行公開程式碼，最擅長Python，但也精通JavaScript、Go、Perl、PHP和Ruby等十多種語言。

原本GPT-3和Codex的功能，是根據先前出現的文字，在現有內容的末端添加文字，但是官方表示，無論是文字還是程式碼寫作，都不僅僅是附加內容，而是一個迭代的過程，現有的文字需要被修改。而GPT-3和Codex現在則已經具有編輯和修改當前內容，或是在現有內容中添加文字的能力。

新的插入功能會在現有內容段落中間，添加與上下文相關的文字，使得模型可以提高應用程式的文字完成品質，像是編寫長文、在段落間轉換，遵循大綱或是引導模型結尾等任務。過去的GPT-3，要在段落一和段落二插入文字，在沒有考慮之後的段落，模型會生成與段落二完全無關的文字，而在新的插入功能，模型便能夠生成將兩段落連結在一起的文字。

官方提到，插入對編寫程式碼工作是最有用的功能，Codex是開發團隊最初要在模型中，添加插入功能的動機，因為在軟體開發過程，開發人員通常會把程式碼添加到現有的檔案中間，而現在Codex就能夠根據上下既存的程式碼，加入新的程式碼，在完成缺失函式的同時，又能連接到已經編寫的程式碼。

Codex插入功能目前已經GitHub Copilot中測試，並且取得良好的初期結果，其他使用者也可以在測試版API中，用到最新的插入功能。

另外，文字與程式碼編輯也是一個必要的文字編修功能，OpenAI也在測試API中，發布了編輯新端點，供用戶透過指令，更改現有文字，而不是只是補完文字。用戶可以提供提示，以指導模型修改現有文字的方向，像是更改文字的語氣和結構，或是進行針對性的更改。

用戶也可以不提供指示，讓模型自由發揮，而此時編輯功能的行為，會類似完成功能，官方表示，編輯功能特別適用於撰寫程式碼，可用於重構、添加文件，更改編寫風格，甚至是在程式語言間進行翻譯。