推薦 | Transformer最新成果！Learn to Dance with AIST++: Music Conditioned 3D Dance Generation！

論文：Learn to Dance with AIST++: Music Conditioned 3D Dance Generation

數據集：https://google.github.io/aistplusplus_dataset/

提出了一個基於Transformer的學習框架，用於基於音樂的3D舞蹈生成。設計了一個全新的網絡框架，並驗證得出得到高質量結果的關鍵。其中組件之一是深度跨模transformer，能夠很好地學習音樂和舞蹈運動之間的相關性，而且具備 future-N 機制的全注意力在產生長距離 non-freezing 運動中相當重要。

AIST++ 數據集

咱們提出了一個名爲AIST++的成對3D運動和音樂的新數據集，咱們從AIST多視點舞蹈視頻中重建該數據集。AIST++是一個大型的3D人體舞蹈動做數據集，包含各類各樣的3D動做搭配音樂。

AIST++提供了 10.1M 張圖像的 3D 人體關鍵點標註和相機參數，涵蓋 9 個視角的 30 個不一樣主體。以此成爲現有的最大、最豐富的三維人體關鍵點標註數據集。

AIST++包含了 1408 個三維人體舞蹈運動序列，以 joint rotations 和 root trajectories 一塊兒的形式表示。舞蹈動做平均分佈在 10 個舞蹈流派和數百個編排中。動做持續時間從7.4秒到48.0秒不等。全部的舞蹈動做都有相應的音樂。

AIST++與其餘數據集的比較，在長度方面，咱們的AIST++數據集排名第三。在動做方面，咱們的AIST++數據集有10種不一樣類型的舞蹈動做伴隨音樂。Human3.6M第二大數據集[36]，只有簡單的行走，坐下等動做。

AIST++數據集10種3D人體舞蹈動做。

結果：與兩種基線方法相比，咱們的模型產生的運動更真實，與輸入音樂的相關性更好，並在不一樣的音樂條件下更多樣化。*注意Li等人[51產生的運動是高度緊張的，使其速度變化很是高。

僅做分享，不表明本號立場，侵權聯繫刪除