圖片來源: 

Nvidia

Nvidia上周宣布以OpenAI GPT-4為基礎的AI系統Eureka的開發成果,能訓練實體機器人執行複雜動作,像是轉筆、開抽屜。

Eureka是Nvidia研究院AI演算法的開發成果。Eureka本身是以Open AI GPT-4為基礎,可提供開發人員配合Nvidia的物理模擬參考應用程式Isaac Gym進行強化學習(reference learning)。Issac Gym則是以Nvidia 3D工具及應用程式的開發平臺Omniverse為基礎開發。

Nvidia AI研究部門資深總監Anima Anandkumar指出,強化學習過去10年雖然有所進展,但仍存在不少挑戦,像是獎賞設計,現在都還停留在「嘗試錯誤」階段。Eureka則是為執行困難的任務而設計,結合生成式與強化式學習的演算法開發的首次嘗試。

Eureka生成出的獎賞程式可從事機器人的嘗試錯誤(trial-and-error)學習,並執行80%人類專家的任務,能使平均效能提升超過50%。根據Nvidia公布的影片,Eureka訓練的機器人能執行將近30種任務,像是轉筆、兩手互傳球、開抽屜或拿剪刀等。

圖片來源_Nvidia

Eureka利用GPT-4 LLM和生成式AI撰寫出程式碼,獎賞機器人手臂或手指進行強化式學習,過程中不需要輸入任務提示或撰寫預定義的獎賞範本,再結合人類回饋修正獎賞,使執行結果更精準符合開發人員的視覺。

在Issac Gym中,利用GPU加速的模擬,Eureka可針對大量批次的候選回饋快速評估品質,以提升訓練效率。然後Eureka可根據訓練結果的關鍵統計做出摘要,再命令LLM改良獎賞功能的生成。AI可以自我改進,教導所有類型的機器人,包括獸型(四腳)、人型(兩腳)、四軸、手爪式及協作手臂等機器人來完成所有任務。

這篇研究也公布了研究小組根據開源靈敏性標竿測試,評估20種任務訓練結果,這些測試要求機器手做多種複雜技能動作。

Nvidia表示Eureka結合LLM和Nvidia GPU模擬技術的產物,相信它可實現靈巧的機器人控制,並為動畫作者提供生成逼真實體動作的新方法。

Nvidia研究院之前也發表過Voyager,後者是以GPT-4打造能自己玩《Minecraft》的AI系統。

Nvidia上周也宣布和甲骨文雲端服務的進一步合作。繼今年3月及7月締結生成式AI服務及超級電腦服務DGX Cloud搬上甲骨文雲基礎架構(Oracle Cloud Infrastructure,OCI)後,現在Nvidia DGX Cloud及Nvidia AI Enterprise軟體服務,已經在服務市集上架,提供OCI客戶採購。

熱門新聞

Advertisement