Nvidia開源用於機器人訓練的世界模型Cosmos-Transfer1

本周Nvidia GTC大會上展示了Blue機器人的同時，也開源訓練機器人及自駕車的多模態世界模型Cosmos-Transfer1。

Cosmos-Transfer1是Nvidia Cosmos模型的一部分。Cosmos是協助開發人員更快且更有效打造「實體AI」（Physical AI）系統的世界基礎模型。而Cosmos-Transfer1則是經預訓練的擴散式條件世界模型（conditional world model），可用於生成多模態、可控制的虛擬世界。它根據多種空間控制輸入資料，像是分割圖、深度圖及邊緣圖（edge maps）等建立模擬，還能在不同空間位置和時間彈性為不同條件輸入加入權重，以客製化生成虛擬世界。這種彈性使之方便用於自駕車或機器人等自動系統訓練的應用程式，例如Sim2Real。

Cosmos-Transfer1已在Hugging Face開源，開源的資源包含二個模型及其推論範例，Cosmos-Transfer1-7B為適應性多模態控制的世界生成模型，Cosmos-Transfer1-7B-Sample-AV為開發自駕車專用的Cosmos-Transfer 1。二個模型都需在80GB H100硬體平臺上執行。

後訓練腳本程式也會很快釋出。模型本身是以Nvidia Open Model授權開源，而訓練腳本則是以Apache 2 授權開源。