AI也略懂編舞，指定音樂就可產生對應的3D舞蹈動作序列

Google人工智慧最新研究，開發出了一種稱為FACT（Full-Attention Cross-modal Transformer）的模型，能夠模仿和理解舞蹈動作，具有聽音樂編舞的能力。除了模型之外，Google還釋出了大規模多模態3D舞蹈動作資料集AIST++，包含5.2小時的1,408個舞蹈動作序列，涵蓋10種舞蹈流派，藉由AIST++ Google證明FACT模型，無論是質性或是定量研究，都優於最先進的方法。

Google提到，舞蹈是一種需要練習的藝術形式，要創造具有豐富表現力的舞蹈，舞者必須經過專業訓練，並學會豐富的舞蹈動作，這個過程對人類來說已經很困難，更別說是對機器學習模型，因為這項任務需要生成高運動複雜性的連續運動，在捕捉動作和動作間非線性關係的同時，搭配上音樂。

研究人員從資料集開始著手，在現有的AIST舞蹈影片資料集加工，產生AIST++資料集。AIST是一組沒有任何3D資訊，但是帶有音樂伴奏的舞蹈影片，AIST包含Break、Pop和Lock，以及Hip-Hop、House和Street Jazz等10種舞蹈流派，這個資料集包含舞者多視角的影片，但是攝影機並沒有經過校正。

由於研究人員的需求，利用SMPL 3D模型，復原AIST舞蹈影片中相機參數和3D人體運動，創建新的資料集AIST++，這是一個大規模3D人類舞蹈動作資料集，包含有配樂的各種3D動作。由於AIST原本是一個教學資料庫，因此紀錄了多個舞者以相同編舞，搭上不同BPM的不同音樂，這是舞蹈中常見的作法。

由於模型需要學習音樂和運動之間的一對多映射，因此這樣的現象，在跨模態序列對序列生成，形成特別的挑戰，研究人員因此需要仔細建構不重疊的訓練和測試的資料集，確保子集之間既不共享編舞也不共享配樂。

藉由使用AIST++，研究人員訓練出FACT模型，只要聽音樂就能生成3D舞蹈，並且透過與其他先進方法比較，FACT模型在動作品質、多樣性，以及音樂動作的關聯性三大指標，表現都最佳。在多種方法間，受測者更喜歡FACT模型的輸出，而且FACT模型所生成的動作，與音樂的相關性也更高。

Google研究人員所提出的FACT模型，不只可以學習音樂和動作之間的對應關係，還能以音樂為條件，生成高品質的3D動作序列。而伴隨發布的AIST++，則是迄今最大的3D人類舞蹈資料集，具有多視角、多流派和跨模態等特性，有助於促進3D運動生成研究。