用PaddlePaddle作的視頻模仿秀,很糙~

目標:

模仿秀的目的是根據流行的舞蹈視頻,生成一段動做與其類似的用戶視頻。用戶須要提供一段被模仿的視頻短片,此外用戶須要提供多段的素材視頻,素材視頻中用戶能夠模仿舞蹈視頻的動做。工程會對舞蹈視頻的動做進行分析,從素材當中找到與之最接近的動做圖片,而後將全部圖片進行接拼,最後生成一段自定義的舞蹈視頻。git

流程:

流程.png

AIStudio項目地址github

還須要優化

目前完成了1.0版本。實測發現效果並不理想,後面還能夠繼續優化。 優化點:優化

  1. 動做匹配方法更新,目前是會對肢體的若干個角度。進行計算歐氏距離,找到最近的姿態。
  2. 異常狀況處理,在計算角度的時候發現有些姿態的點重合了,致使角度沒法計算,NaN
  3. 匹配計算速度須要優化
  4. 能夠嘗試將人摳出來,而後放到新的場景當中
  5. 在匹配過程當中考慮動做的連續性

去github視頻

相關文章
相關標籤/搜索