Nvidia新AI系統能訓練機器手轉筆、開抽屜等動作

Nvidia上周宣布以OpenAI GPT-4為基礎的AI系統Eureka的開發成果，能訓練實體機器人執行複雜動作，像是轉筆、開抽屜。

Eureka是Nvidia研究院AI演算法的開發成果。Eureka本身是以Open AI GPT-4為基礎，可提供開發人員配合Nvidia的物理模擬參考應用程式Isaac Gym進行強化學習（reference learning）。Issac Gym則是以Nvidia 3D工具及應用程式的開發平臺Omniverse為基礎開發。

Nvidia AI研究部門資深總監Anima Anandkumar指出，強化學習過去10年雖然有所進展，但仍存在不少挑戦，像是獎賞設計，現在都還停留在「嘗試錯誤」階段。Eureka則是為執行困難的任務而設計，結合生成式與強化式學習的演算法開發的首次嘗試。

Eureka生成出的獎賞程式可從事機器人的嘗試錯誤（trial-and-error）學習，並執行80%人類專家的任務，能使平均效能提升超過50%。根據Nvidia公布的影片，Eureka訓練的機器人能執行將近30種任務，像是轉筆、兩手互傳球、開抽屜或拿剪刀等。

圖片來源_Nvidia

Eureka利用GPT-4 LLM和生成式AI撰寫出程式碼，獎賞機器人手臂或手指進行強化式學習，過程中不需要輸入任務提示或撰寫預定義的獎賞範本，再結合人類回饋修正獎賞，使執行結果更精準符合開發人員的視覺。

在Issac Gym中，利用GPU加速的模擬，Eureka可針對大量批次的候選回饋快速評估品質，以提升訓練效率。然後Eureka可根據訓練結果的關鍵統計做出摘要，再命令LLM改良獎賞功能的生成。AI可以自我改進，教導所有類型的機器人，包括獸型（四腳）、人型（兩腳）、四軸、手爪式及協作手臂等機器人來完成所有任務。

這篇研究也公布了研究小組根據開源靈敏性標竿測試，評估20種任務訓練結果，這些測試要求機器手做多種複雜技能動作。

Nvidia表示Eureka結合LLM和Nvidia GPU模擬技術的產物，相信它可實現靈巧的機器人控制，並為動畫作者提供生成逼真實體動作的新方法。

Nvidia研究院之前也發表過Voyager，後者是以GPT-4打造能自己玩《Minecraft》的AI系統。

Nvidia上周也宣布和甲骨文雲端服務的進一步合作。繼今年3月及7月締結生成式AI服務及超級電腦服務DGX Cloud搬上甲骨文雲基礎架構（Oracle Cloud Infrastructure，OCI）後，現在Nvidia DGX Cloud及Nvidia AI Enterprise軟體服務，已經在服務市集上架，提供OCI客戶採購。