Google在最新的機器人研究中,讓機器人透過仿效動物的動作,以學習敏捷的運動方式,研究人員認為,他們的方法可以促進機器人的發展,讓機器人足以完成現實世界中的工作,像是在多層倉庫或是履行中心裡運輸物料。

Google提到,動物能夠毫不費力地做出複雜的動作,一旦機器人也能學會這些靈活的動作,就能夠部署在現實世界中,處理複雜的工作。目前的機器人技能,不少都是使用增強學習技術,但過程仍需要許多人工參與,而要設計其中的獎勵函式,需要有豐富的專家知識,且每個機器人技能,都需要經過繁瑣費時的獎勵函式調校過程。

另外,將增強學習應用在有腿的機器人上,不僅演算法的效能要夠好,還要有一個安全的機制,能夠在倒下後自己站起來,過程不需要人類頻繁的協助。因此研究人員提出了一個框架,以動物的運動剪輯影片,訓練增強學習模型,使機器人可以在現實世界中模仿動物運動的控制策略。

由於研究人員使用四足機器人,所以採用狗作為機器人的動作導師,透過影片為系統提供不同的參考動作,訓練四足機器人執行像是快速步行或是動態跳躍等各種敏捷動作。研究人員會先在模擬環境訓練機器人政策,接著再使用自適應技術將訓練好的政策,轉移到真實世界中,該技術會利用真實機器人的資料,高效地自適應政策。

研究人員收集各種動物狗的運動影片剪輯,並使用增強學習訓練控制政策,來模仿狗的動作,利用物理模擬訓練政策,在每個時步追蹤參照的運動姿勢,透過對不同的參照動作使用不同的獎勵函式,就能夠訓練同一個機器人模仿不同的動作技能。

但由於模擬終究是模擬,跟真實世界依然有差距,因此直接將模擬的結果,用在真實機器人上效果並不佳,研究人員使用潛在空間適應(Latent Space Adaptation)技術,將虛擬訓練的政策轉移到真實世界應用中;機器人可以利用少於8分鐘的真實資料,就能讓政策適應實際情況。

這項研究的成果驚人,四足機器人不只能從影片學會狗一般的走路、追尾巴轉或是倒退走等動作,還能從動畫師製作的動畫中,學習動態跳躍轉頭等複雜動作。

熱門新聞

Advertisement