OpenAI新模型可對任何長度的書籍產生摘要

OpenAI訓練了一個可以摘要整本書籍的模型，該模型藉由先總結書本的一小部分，再總結這些總結，以獲得更高層次的摘要，如此便可對任何長度的書籍進行摘要。研究人員提到，這個研究在書籍摘要的進展，是第一個對於縮放對應問題的實證工作。

研究人員藉由微調GPT-3語言模型，以生成整本書合理的摘要，其品質甚至能夠與人工編寫的摘要品質相比擬。該模型在BookSum資料集的書本摘要中，也獲得最佳的成果，而新的模型還能夠與其他模型搭配使用，像是與零樣本問答模型一起，就能夠提供良好的書本問答結果。

之所以OpenAI要進行這項研究，為得是要研究機器學習的對應問題（Alignment Problem）。研究人員提到，為了安全地部署通用人工智慧，研究人員必須要確保機器學習模型，完全按照人類的意圖動作，而這個問題被稱作對應問題。

而研究對應問題的困難之處，在於人類難以評估模型的輸出，特別是在大規模的任務中，因此OpenAI研究人員，想要藉由總結書本內容的任務，來測試可擴展的對應技術。

這項新的模型研究，結合了人類的回饋以及遞迴任務分階，研究人員提到，大型預訓練模型並不擅長摘要任務，在過去，雖然借助人類的回饋，可以有助於模型根據人類的偏好，對貼文或短文進行摘要，但是要直接判斷整本書的摘要，並不是簡單的事，因為人類閱讀整本書，需要數個小時。

為了解決這個問題，研究人員使用遞迴任務分解方法，在程序上將複雜困難的問題，分解成簡單的任務，藉由將長文本的總結分解成較短的文本總結，使用書中較小部分的摘要，而不需要閱讀所有來源文本，也就允許人類更快的評估模型的摘要，研究人員提到，這個方法可以用來總結無限長度的書籍，不受轉換器模型對上下文長度的限制。

這項研究結果有助於推進人類評估模型的能力，研究人員提到，隨著模型可以完成更複雜的任務，人類對模型輸出的評估也就越困難，這使得在部署這些模型的時候，由於難以檢測模型輸出，因而可能產生負面的後果，因此人類必須要隨著模型能力提升，獲得更佳的評估能力。

研究人員目前解決這個問題的方法，是讓人類獲得模型的協助，來評估機器模型的輸出，而透過讓新模型產生書本個別章節的摘要，能夠節省人類閱讀文本評估摘要的時間。