Google研究出能夠不斷生成3D自然地景的技術InfiniteNature-Zero,系統只要透過觀看照片,就能夠學習生成豐富的3D環境景物。InfiniteNature-Zero僅使用單張圖片,生成高解析度、高品質的飛越地景的畫面,研究人員表示,這是前所未有的突破性能力。
InfiniteNature-Zero可用於遊戲和虛擬實境生成新內容,像是在無限自然場景進行沈浸式飛行。研究人員將這個研究問題稱為無限景色生成,透過給定場景單張景色照,使系統能夠生成相片級,通過該場景任意長度,並受用戶控制的3D路徑畫面。
研究人員提到,無限景色生成非常具有挑戰性,因為系統需要在山脈這類大型地標的另一側生成新內容,並且渲染出逼真且高解析度內容。難以使用影片作為訓練資料的原因,是由於研究人員難以找到具有正確相機運動的高品質影片,而且單個影片影格的美學水準,通常也難以跟刻意捕捉的照片相提並論。
InfiniteNature-Zero是這個研究的初期成果,研究人員運用渲染、調整並重複循環策略,設計一種從靜態照片集,學習生成無限景色的方法。用單一照片訓練一個模型生成場景穿越影片,其中一個重要的設計,是照片與渲染的圖像會成為一個循環的相機路徑(下圖),也就是第一張照片與最後一張合成照片是相同的,這一個訓練約束,限制模型學習生成中間缺少的景色,並且提高圖像解析度。
研究人員在InfiniteNature-Zero,使用可從網路上大量取得的風景照片集進行訓練,並且使用對抗網路生成高品質圖像,最後添加了一個經過訓練的元件,生成高品質天空區域,提高最終結果的真實度。
熱門新聞
2024-12-16
2024-12-16
2024-12-16
2024-12-17