AI設計師「鹿班」核心技術公開：如何1秒設計8000張海報？

本文介紹了視覺生成的現狀，智能設計的框架和流程、應用案例及將來前景。經過本文的學習，能夠對鹿班這個產品，以及視覺生成相關技術有基礎性的認識、瞭解行業的現狀以及將來的發展趨勢。

演講嘉賓簡介：星瞳，阿里巴巴機器智能技術實驗室資深算法專家，專一於視覺生成、智能醫療、圖像搜索、信息抽取等方面技術研發和落地；阿里巴巴智能設計（鹿班）的創始成員和算法技術負責人，醫療影像智能診斷方向負責人，圖像搜索拍立淘的早期創始成員。

本次分享主要分爲如下幾個部分：

• 定義、目標和願景
• 設計行業現狀
• 使用場景
• 技術框架和生產流程
• 關鍵算法
• 業務進展
• 案例展現
• 鹿班（新零售UED、淘寶技術部等共創的典型案例）
• 前景展望

1、定義、目標和願景

視覺生成的定義：可控視覺內容設計和生成，聚焦知足用戶、場景需求的數字視覺內容製造，包括針對圖像、視頻及圖形的加強、編輯、渲染、生成、評估等視覺內容設計與製做。用技術賦能和改革設計、廣告及數娛行業。

目標：可控視覺內容設計和生成，讓AI作設計，使數字內容製造變得高質、高效、普惠、低成本；

願景：所想，即所見。

視覺生成主要分紅三個方向。第一，針對非結構化的圖像。第二，針對結構化的圖形。第三，針對序列化的視頻。

2、設計行業現狀

視覺生成較年輕，起初，基本都是經過人工方式完成。小到海報或畢業設計封面的設計這樣的小需求，大到阿里巴巴中海量商家的投放渠道及效果這樣的大型需求都與其相關。從業人員數量龐大，市場與廣告、商家關係緊密，市場容量很是大。

從技術上說，近幾年，你們常提到供給側改革，之前的供給側基本都是經過人或工具來造成圖像、視頻等，但這樣有很大的侷限性，包括：

• 效率低成本高
• 數據利用率低，好比去年雙十一和今年雙十一因爲主題不一樣，須要全盤重作。
• 沒法在線化，從提出需求到獲得結果沒法作到實時。
• 難以上下文相關，設計師不會結合用戶的個性化需求，造成與上下文相關的結果。

而在消費端，對個性化、精準度、實時性有很高的需求。所以，在供給和需求之間還存在差距。在AI行業中，IN的多：識別、理解、搜索。OUT的少：生成、融合還限於學術圈，系統性落地工程、可商用的產品沒有。

所以，「The best way to predict is to create」。

3、使用場景

視覺生成引擎的使用場景大體可抽象成下圖。以顯式輸入而言，用戶能夠輸入標籤須要的風格、色彩、構圖等，或者輸入一個例子，或者進行一些交互的輸入。除顯式輸入以外還能夠有隱式輸入，好比人羣信息、場景信息、上下文信息等。總的來講，輸入能夠是變幻無窮的，但經過規範化以後就會減小變化，使得生成過程可控，輸出質量可控。

對視覺生成引擎來講，它要求輸入是規範化的。但在輸入前，能夠加入各類交互方式，如天然語言處理，語音識別等，將其轉化成規範化輸入。最後輸出結構化信息或可視成圖。

4、技術框架和生產流程

其技術框架以下圖左側。首先對視覺內容進行結構化理解，如分類、量化、特徵化。其次經過一系列學習、決策變成知足用戶需求的結構化信息即數據，最後將數據轉化成可視的圖像或視頻。這一框架依賴於大量的現有數據。其核心是一個設計內核。同時，引入效用循環，利用使用後的反饋來不斷迭代和改進系統。

其生產流程分紅六個步驟，以下圖右側所示。首先用戶提出需求，將需求特徵化轉變成系統能夠理解的結構化信息。其次將信息進行規劃獲得草圖。有了粗略的草圖後再將其轉變成相對更精確的圖，而後調整細節，最後經過數據可視化造成最終的圖。固然其中還有不少的trick，以及各部分的優化。

5、關鍵算法

下面介紹一些關鍵算法。咱們但願基於下圖最左的耐克鞋生成最右的圖。先經過規劃器獲得草圖，再經過強化學習得到相對細緻的結果，再經過對抗學習及渲染算法獲得圖片，再經過評估器進行評估，最後造成業務閉環，其中還會有一些基礎的能力，包含更強的聯合特徵（非普通 CNN特徵）及多維度檢索算法等。

基本上，處理的第一步是將圖片中的信息結構化，這也是與現有的識別理解技術結合最緊密的地方。其中的難點和重點包括，對圖像中多目標的識別、遮擋和互包含狀況如何獲得分割的信息等，下圖只是個簡單的示例。

有告終構化信息以後，須要對信息進行量化。能夠量化成特徵或量化圖。量化過程當中會包含不少信息，好比主題風格、佈局配色、元素種類、量化空間等。有了這些信息後能夠在主題、種類、風格、視覺特徵大小位置上，量化成各類碼，用相對有限的特徵來表達無限的圖。

下一步是經過用戶的輸入，獲得一個相對粗略的結果即草圖。目前主要使用的是深度序列學習。從圖像角度，首先選定一個點的像素顏色再選擇位置，再迭代進行操做，最後造成一張圖。規劃器模擬的就是這個過程。本質上預測過程是一棵樹，固然也能夠拆成一條條路徑。爲了簡化，能夠分紅幾步進行，好比空間序列，視覺序列。最後造成量化特徵模型，主要應用的是LSTM模型。它把設計的過程轉化成基於遞歸、循環的過程。

獲得草圖後，利用行動器將草圖細化。若是將圖中的每一個元素看做一個Agent，那麼它將有若干個可選的行動空間。

假設一張圖中有20個元素，每一個元素在視覺上有多種可選的行動空間，由其組合成的可選行動空間很是龐大。咱們有不少trick能夠解決這一問題，好比在空間上，只容許在有限範圍內進行變更，且行動方向有序，即狀態有序，行動有限。

下一步是如何衡量結果的好壞。圖像的評估相對比較主觀，主要能夠從美學和效果兩方面來評估。美學角度能夠包括是否對齊、色系搭配是否合理、有無遮擋這些較低級別的判斷標準，以及較高級的，好比風格是否一致，是否切合主題。從效果上，產品投放後是否會在點擊率等方面實現提高。最後將多個指標造成對應權重並造成多個DeepLR聯合模型。

但在衡量結果以前，須要造成像素級別可見的圖。這裏有如下幾種構造器分類，包括臨摹、遷移、創造、搭配與生成。

前面介紹了，如何經過用戶的需求造成可見的圖。後續還須要進行投放和反饋並進行優化，造成效用外循環。這樣才能使得系統效用不斷獲得提高，造成一個在線閉環，這也是智能設計相對設計師的一大優點。

6、業務進展

下面是一些實際的例子。

7、案例展現

從多樣性看，生成的圖片能夠是多主體、多主體、多配色和類型自適應的。

同時，也能夠生成多種尺寸的圖片。

8、前景展望

上面所說的基本都是平面設計層面的。但在視頻和圖形上是另外一片藍海。若是說人工作一張圖片的成本比較高，而製做視頻的成本則遠高於圖片。

下圖是目前的行業市場空間展現。

爲了強調視頻中的一部分，能夠生成總體靜止局部運動的可循環視頻。

在遊戲領域中，如今的遊戲場景須要大量的美工、設計師等。若是但願生成的結果能知足多樣性，那麼純靠人工進行須要大量的成本，而且因爲遊戲的生命週期一般較短，所以批量高效的場景製做是一個頗有前景的應用。

9、結語

經過視覺生成引擎，咱們但願能基於用戶的所想，使得一切皆可生成。長遠的目標就是：所想，即所見。

本文做者：星瞳

原文連接

本文爲雲棲社區原創內容，未經容許不得轉載。