Google揭露AI抓漏專案Big Sleep

Google上周揭露AI抓漏專案Big Sleep，宣稱已利用它在10月找到了一個位於SQLite的堆疊緩衝區下溢漏洞，不管是SQLite現有的測試基礎設施，或是OSS-Fuzz都沒有發現該漏洞，相信這是AI代理工具於廣泛使用的實際軟體中，發現未知記憶體漏洞的第一個公開例子。SQLite開發者則在收到Google通知的當天便修補了該漏洞。

Big Sleep是由Google Project Zero團隊今年6月發表的Naptime專案（Project Naptime）衍生而來。Naptime旨在評估大型語言模型（LLM）於安全漏洞研究中的潛力，它開發了一個框架，讓LLM能夠模仿人類安全專家發現並展示安全漏洞的系統性方法，並經過Meta CyberSecEval2基準測試的驗證；而Big Sleep則是Project Zero與DeepMind的研究成果，它採用Naptime框架，並將LLM的應用從純粹的基準測試擴展到真實世界的漏洞發現。

推動Naptime與Big Sleep專案的動力之一，是因為發現有各種已修補漏洞的變種仍不斷遭到駭客利用，該趨勢顯示出模糊測試無法有效抓住這些變種，另一方面，駭客手動分析這些變種卻是一個具備成本效益的作法。

Google表示，與開放式漏洞研究相比，現有的大型語言模型更適合變種分析。提供一個起點，如先前漏洞的細節，能減少研究的模糊性，並基於「先前有一個漏洞，可能還有類似的漏洞存在」這樣具體的理論進行探索。

Big Sleep專案仍處於研究階段，並利用含有已知漏洞的小程式來進行評估，Google日前決定於SQLite上進行首次大規模的實際變種分析實驗，以測試相關的模型與工具，研究人員蒐集了SQLite程式庫最近的提交紀錄，手動刪除了那些微小的與僅涉及文件的變更，接著調整了提示，提供提交訊息與程式碼變更的差異對照，要求AI代理工具檢查程式庫的最新版本，尋找可能還未修復的相關問題，進而找出了SQLite上的堆疊緩衝區下溢漏洞。

Google認為，Big Sleep專案擁有具大的防禦潛力，得以在軟體發布前就發現軟體中的安全漏洞，讓漏洞在遭到駭客利用之前就被修復。人們需要一種方法來幫助防禦者找到那些模糊測試很難發現的錯誤，希望AI可以縮小此一差距。