Google開源影像降噪AI專案MultiNeRF

Google本周宣布開源AI影片降噪技術專案MultiNeRF。

Google科學家Jon Barron說明，這次演算法是將6月間2022電腦視覺和圖形辨識（Computer Vision and Pattern Recognition Conference，CVPR）大會公布白皮書的三項影像降噪的AI演算法Mip-NeRF 360、Ref-NeRF及RawNeRF，整合為一個repo，並命名為MultiNeRF。

今年6月公布的Mip-NeRF 360、Ref-NeRF及RawNeRF演算法，是以NeRF（Neural Radiation Fields）演算法做的延伸或強化。一般相信，新推出的AI技術有助於提升Pixel手機的相片或影片拍攝效果。

Barron說明，其中Mip-NeRF 360是Mip-NeRF擴充，支援無邊界360場景的圖像合成，可渲染出完整的3D物體和場景，使影像可從任意視角觀看。RawNeRF則是NeRF針對低光照環境研發的版本，Barron指出，它不只提供多階段影像降噪，也能建立美麗的淺景深效果，還讓使用者控制色調映射和曝光。Ref-NeRF則運用曲面法線重參數化不同視角的效果，讓NeRF演算法更能推論出材質和光源，對於處理具閃耀表面的物體相當有用。

Barron指出，MutiNeRF應該能勝任大部分航空攝影測量任務，如果用戶目的是渲染圖案的話。不過目前還無法匯出網面（mesh）。

根據MultiNeRF專案網頁，其程式碼是將Ref-NeRF和RawNeRF的實作整合到Google的Ｍip-NeRF 360實作，因此應該能重現Ｍip-NeRF 360的結果，但或許重現Ref-NeRF和RawNeRF結果時可能會有些許不同。

ＭultiNeRF專案網頁提供了白皮書、訓練、評估、測試及渲染等工具和範例。這個實作以JAX撰寫成，是由Mip-NeRF分叉。

Google研究小組雖邀請大家試用，但也警告這是研究中的程式碼，應小心使用，也未獲得Google產品正式支援。

一名使用者用過後指出，新釋出的MultiNeRF包含一些不錯的相機程式，用以處理大型場景效果不錯，他自己也分享了影片成果。