Nvidia開源了一個名為fVDB的PyTorch擴充,這是一個專為處理大規模3D資料集而設計的深度學習框架,其建立於OpenVDB基礎之上,並使用NanoVDB進行GPU加速,支援高效能稀疏體積資料儲存與操作。

fVDB主要功能在於處理現實世界模擬,或大規模3D資料的量測工作,其提供了一個強大且一致的框架,可以對大型3D資料執行一整套深度學習操作,避免了以往開發人員需使用不同函式庫拼湊框架,所產生漏洞和效能低下的問題。

fVDB與現有的VDB資料集相容,可以直接讀取和寫入VDB資料集,並且能整合如Warp和Kaolin等3D深度學習工具和函式庫。此外,fVDB也提供統一的API,供開發者實作卷積、注意力機制等基本神經網路操作,並支援光線追蹤、高斯分布和體積渲染等操作。

Nvidia以OpenVDB為基礎建構了fVDB,而OpenVDB是一個由夢工廠動畫所開發,用於電影製作的C++函式庫,目前由Academy Software Foundation維護。OpenVDB能夠高效地處理像是煙霧、火焰和水等體積特效。

fVDB除了繼承原本OpenVDB就具有的稀疏體積資料處理和儲存能力,且更進一步提供一套完整的工具,來處理大規模3D資料的深度學習操作,適用於生成式物理人工智慧和空間智慧應用場景。fVDB能夠最大程度減少記憶體使用並提高資料吞吐量,同時加快訓練和即時推理的速度。

之後fVDB將會作為Nvidia推理微服務(Nvidia Inference Microservices,NIM)提供,使開發人員可以將fVDB核心框架合併到OpenUSD(Universal Scene Description)3D模型檔案交換格式工作流程,在Omniverse中產生OpenUSD幾何圖形。

Nvidia將提供三種fVDB推理微服務,包括可從點雲資料生成OpenUSD網格,並運用Omniverse Cloud API進行渲染的Mesh Generation NIM,以及可對單影格和多影格進行人工智慧超解析度處理,生成OpenUSD高解析度物理模擬的Physics Super-Res NIM,第三則是使用Omniverse Cloud API生成大規模神經輻射場(NeRFs),實現逼真3D視覺效果的NeRF-XL NIM。

熱門新聞

Advertisement