UWP 手繪視頻創做工具技術分享系列 - 有 AI 的手繪視頻

原文: UWP 手繪視頻創做工具技術分享系列 - 有 AI 的手繪視頻

AI（Artificial Intelligence）正在不斷的改變着各個行業的形態和人們的生活方式，圖像識別、語音識別、天然語言理解等 AI 技術正在自動駕駛、智能機器人、人臉識別、智能助理等領域中發揮着愈來愈重要的做用。

那麼當手繪視頻遇到 AI，有 AI 的手繪視頻領域，有 AI 的 UWP 手繪視頻創做工具，會發生些什麼呢？咱們從12月23日的一次發佈會開始講起吧：

2018年短視頻新生態峯會暨來畫新品發佈會

 

在本次發佈會上，來畫視頻發佈了正式上線的 iOS Android 手繪視頻 App 和一系列新功能，二更、同道大叔、Prezi 創始人等也帶來了短視頻行業的精彩分享，而在 AI 方面，更是發佈了兩大核心功能：智能配音和智能繪畫。

衆所周知，在視頻中，圖像和聲音是最重要的兩個因素，而對應到手繪視頻中，則是配音和手繪素材：

1. 配音

首先來講配音，在配音方面，來畫與科大訊飛進行了深度合做。科大訊飛是國內外語音識別和語音生成領域領先的人工智能公司，而本次合做也是科大訊飛在短視頻領域的首次嘗試，雙方都對本次合做寄予了很高的期待。過往你們想製做一個短視頻時，配音須要專業配音人員完成。由於咱們不少人的聲音或者對語速、語音的控制完成不了專業的要求。但依靠來畫和科大訊飛完成的智能配音功能，以下圖的操做方式，用戶只須要輸入簡單的文字以及你想使用誰的聲音。好比葛優、林志玲或者其餘人的聲音，能夠設置基本語速，還能夠作相應停頓，就能夠一鍵生成視頻中須要的配音，把它結合到手繪視頻中。

因爲手繪視頻不像拍攝視頻那樣對配音的音畫同步要求那麼嚴格，咱們在實現時更多的是針對手繪視頻的每一個分鏡頭進行配音生成，讓每一個分鏡頭的配音是和當前畫面同步的。針對每一個分鏡頭，能夠設置不一樣的語音來源，不一樣的語速，配合轉場動畫設置不一樣的停頓時間。

在技術實現上，藉助科大訊飛的 tts 技術，得到每一個分組的 mp3 語音文件，在手繪視頻預覽和生成時，把多個 mp3 文件合成到視頻文件的音軌中，設置不一樣的音量和語音開始時間、語音長度等信息。爲保證語音生成的成功率（時長和同步方面），在輸入文字後，能夠根據文字數量，以及設置的語速和停頓時間，來預估語音的時長，減小反覆轉換嘗試。

2.  手繪素材

在中國，有數億的手繪愛好者，你們渴望用手繪視頻的方式來表達本身的感覺。可是苦於繪畫基礎的差別，不少人沒辦法很順利的完成手繪視頻的創做。

爲此，目前來畫視頻平臺積累了大量的手繪素材，擁有豐富的標籤和精準的分類，讓用戶能夠隨心的選擇。

儘管如此，來畫還在不斷探索更好的技術方式來知足用戶對手繪素材的需求，下降創做門檻。而這種技術方式就是來畫的 AI。

來畫 AI 由三部分組成：手繪路徑的智能識別、智能優化和智能生成。

這是一個不斷遞進的過程，當用戶繪製一段路徑時，來畫 AI 算法能夠識別和理解路徑，推薦出最符合用戶想法的分類素材供選擇，選擇後還能夠作智能填色等後續處理。好比用戶在畫相似圓形的路徑，AI 能夠識別爲圓，球形，水果等；而在用戶畫了兩個圓形，再去畫一個梯形時，AI 會認爲你想畫一輛汽車。這就是咱們目前研發完成的智能識別功能，它能夠極大下降用戶創做素材的時間和難度。

而更進一步，當用戶繪製一段路徑，好比曲線時，AI 算法識別和理解路徑，並對曲線中有誤差的部分路徑作出局部糾正和優化，這樣能夠在下降創做時間難度的基礎上，極大的保留用戶的手繪內容和風格。

最終，咱們要實現的是 AI 自動繪畫，你只須要告訴 AI 你想畫的內容，AI 就能夠依照對該用戶繪製風格的理解和評定，自動完成整副畫做的繪製，包括總體畫風、路徑、顏色填充等。這樣的來畫AI，可以極大的下降用戶創做素材的時間和難度，讓全部沒有繪畫基礎的人，也能夠快速的完成高質量的屬於本身的手繪視頻創做，這纔是來畫 AI 要實現的目標。

在技術實現方面，智能識別是圖像識別的深度學習，具體說是手繪草稿的識別範疇；在算法模型的訓練方面，咱們對接近 400 個分類的 4000w 個 SVG 數據進行了數據清洗和標註、訓練，目前算法對於常見圖形的識別效果很好，隨着這一功能的上線，後面也會增強更多分類的數據採集和訓練工做；而智能優化和智能生成，除了對於草稿的圖像識別，還有對於繪製圖形的路徑理解和目標圖形的路徑理解，這也是後面突破的重點方向。

結合了配音功能和手繪素材智能識別的 UWP 來畫視頻將會在接下來發布，歡迎你們下載使用，多提寶貴意見。

對這兩個方面感興趣的朋友，歡迎和我交流，謝謝！