在線公開課 | 基於口罩識別模型，探索機器學習自動化的技術應用

2020年初的戰「疫」來勢洶洶，科學技術成爲打贏這場硬仗的高效武器。其中，AI技術在控制疫情發展方面展現了不可忽視的做用。好比，經過AI技術來預測並區分新冠肺炎的輕重症、幫助醫生分診等，可以極大的提升與病魔賽跑的效率。同時，基於AI技術研發的智能疫情助理、送餐機器人也發揮了極大的做用。遙想2003年非典的時期，恐怕當時誰也不可思議，十幾年的時間，科技發展如此迅猛。

春末夏至，復工復產也在有序進行。因爲管控工做、防疫措施的要求，口罩成爲出門必備的單品。那麼，在口罩遮擋的狀況下，該如何作好人羣的識別呢？4月15日，京東雲與AI人工智能平臺部技術總監何雲龍老師，在技術公開課《基於口罩識別模型，探索機器學習自動化的技術應用》中，交流了疫情期間人臉口罩識別的意義、方法，延伸出自動化學習的技術優點，並在何雲龍老師的帶領下，基於口罩識別的模型，一塊兒探索了機器學習自動化的過程及相關技術，並進一步展望將來的AI落地方面的技術，以及將來在這方面可以作的工做。

基於口罩識別模型，探索機器學習自動化的技術應用

— 京東雲與AI產品研發部架構師 何雲龍—

人臉口罩識別的意義

疫情期間，有一個關鍵點就是春節以後的復工。在國內有一個特殊的狀況，就是在復工的時候，人員流動量至關龐大。爲了控制感染的擴散，必需要有效識別感染人羣。可是目前的狀況與以前大大不一樣，由於絕大部分人臉都會被口罩遮擋，沒法徹底採用原來用於安防等場景的人臉識別技術。那麼，如何在戴口罩的狀況下精準識別人臉，這是一個很大的挑戰。

比較幸運的是，通過研究，咱們科學家發現，即使是口罩遮擋住了大部分的人臉關鍵點，但咱們依舊可以利用有限的人臉關鍵點來進行精準識別。

好比京東集團的無感知智能溫感篩查系統，可以結合傳統的溫感技術以及近期快速研發的人臉識別技術，實現大流量背景下的人員跟蹤，從而有效控制感染的擴散，協助實現疫情管控的效率提高。

如今作的一些方法

1. 數據加強，打破數據量過少的困境

當前人臉識別模型可能是基於深度神經網絡，須要獲取到足夠充分的訓練數據用於訓練模型。以前作人臉識別的時候，不管是使用公開數據集仍是採集實際場景的人臉數據，都有很大的數據量積累。可是現階段的基於口罩的人臉識別，一個很大的挑戰就是數據量很是少，直接從現實場景採集大量帶口罩人臉識別訓練數據比較困難，時間又很緊迫。那麼這個時候怎麼辦？因此除了少許現實場景數據外，經過數據加強的方式，京東智聯雲還採用多種方法生成大量模擬帶口罩的訓練數據。首先咱們仔細研究了通常口罩的遮擋區域，並採用自研的人臉106點關鍵點模型檢測人臉關鍵點，依據人臉關鍵點生成口罩區域mask，並經過該mask爲人臉加上隨機顏色的虛擬口罩或者口罩模板，就能夠生成大量的戴口罩的人臉新的數據，最後使用這些數據來訓練模型。

2. 大部分的關鍵點被遮擋，如何去提升人臉識別的精準率

爲了解決這個問題，京東智聯雲的科學家們作了多種嘗試，最後發現口罩上方的人臉部分中，好比眼睛周圍的一些關鍵點，其實仍是有很大的區分能力的。其中，眼周注意力機制就是把模型算法的注意力集中在人臉的上半部分，在此基礎上可以讓人臉的特徵模型充分學習到特徵，從而顯著提高人臉識別的精度。同時，模型遷移技術也是在數據量比較少的狀況下采用的一種方法，它可以把以前基於沒有戴口罩的人臉數據上訓練的模型遷移到當前戴口罩的人臉模型的訓練過程當中，也可以很好的提高口罩人臉識別模型的精準度。

在算法模型訓練的過程當中，爲了讓模型更關注非口罩區域，京東智聯雲參考了膠囊網絡的建模方式而且引入注意力機制在模型訓練中。實驗證實，對人臉識別最重要的特徵集中於人臉上半部分，尤爲是眼睛和眉毛。所以，若是可以讓人臉特徵模型充分學習到該部分的特徵，戴口罩的人臉識別的精度會有顯著的提高。

「咱們還發如今不戴口罩數據上訓練的模型對戴口罩的人臉依然有必定的識別能力，因此咱們先在大量的不戴口罩的常規人臉數據上進行模型訓練，而後再經過domain adaptation將模型遷移到戴口罩人臉識別數據上繼續訓練。」

目前，完善的模型已經部署到京東智聯雲。在京東智聯雲的官網，人臉口罩識別（口罩佩戴檢測）、京東智能溫感篩查系統已經上線。

在模型部署使用時，京東智聯雲技術研發人員先對檢測到的人臉進行口罩佩戴檢測以及識別口罩是否正確佩戴，識別率達98%以上。同時，利用上述戴口罩的人臉特徵模型對戴口罩的人臉進行特徵提取，並與底庫人臉特徵進行比對，從而實現戴口罩的人臉識別。目前，口罩人臉識別模型在公開數據集LFW（添加虛擬口罩）上準確率爲98.6%。

AI快速落地應用的時候，咱們還面臨哪些其餘挑戰？

1. AI人才缺口

從數據獲取、數據處理、模型選擇、模型訓練以及模型優化和最終上線，根據整個AI落地的大概生命週期，是須要在實際的生長環境裏作部署的。爲何AI落地比較困難？是由於在整個生命週期裏面，擁有相匹配技能的人才仍是很是少的。根據一些權威機構比較一致的評測數據，中國目前的AI人才缺口大概有500萬左右。能夠想象，這種狀況會致使大部分的AI人才被諸多大廠爭奪。可是對一些有實際應用落地場景需求的小型公司及傳統企業，就沒法進行項目的建設和落實。同時，人才缺口短期內難以彌補。AI落地困難重重，每個環節上都須要AI的技術人才掌握相匹配的技術，並不是是一蹴而就的。

2. AI落地的速度問題

在開發模型的過程當中，首先在數據處理方面，最多見的挑戰就是數據量太小、質量比較差或過於龐雜，致使算法工程師須要作大量數據清洗、轉換、兼容等的額外工做。同時在模型訓練中，諸多參數的選擇也是一個煩瑣的探索嘗試過程。當模型開發完成，上線前仍需進行模型優化……每個環節都須要對AI工程師有較高的技術要求。在這樣技術挑戰下，就會致使AI落地的速度問題。同時爲了在業務效果上領先對手，在一個業務上咱們每每要投入不少算法工程師，將每個步驟都作到極致，這樣看下來，AI應用怎麼可能很容易的落地呢？

1913年左右，福特應用他的創新理念和反向思惟邏輯，提出創建一個汽車組裝的流水線。經過流水線的裝車方式，汽車生產效率獲得很是大的提高。這個事件激發了思考：若是在AI的開發過程當中，是否是也可以採起相似的開發方式，造成一個端到端的流水線，從而使AI的快速落地成爲可能？固然，在AI領域，這個流水線的每個環節裏，都須要用特別的技術去解決以上這些挑戰。這裏的關鍵技術就是AutoML。

如何應對這些挑戰？介紹一些AutoML相關技術

什麼是AI領域流水線的特別技術呢？這些技術統稱爲AutoML技術。

其實AutoML並非一個新的概念，從窄義上講，通常是指神經網絡結構的自動搜索，不過這裏咱們仍是採用更廣義的叫法，在構建AI的流水線的時候，原有的一些依賴於算法工程師的環節，通過標準化和算法實現後可以自動的完成，咱們都稱之爲AutoML。下面咱們看一下具體的AutoML技術有哪些。

首先在數據處理階段，經常使用的一些技術包括自動數據加強、自動特徵工程、主動學習等。數據加強可能更多的應用在圖象領域。自動的特徵工程主要是指結構化的數據，咱們也作了不少自動特徵工程的工做，可以自動的尋找最優的特徵交叉組合。數據標註須要極大的人力成本，此時就要依賴於主動學習方法，經過選擇其中須要標註的部分數據，大大下降標註成本，從而使開發效率獲得提高。另一個用於AutoML的技術是預訓練的模型。各大學術機構及公司都已經花費巨量的時間和海量的數據生成各類模型，這些模型就能夠用在實際場景中。好比，Google推出的BERT模型、微軟推出的VL BERT等等。此外，在讓機器設計神經網絡方面，最近幾年，一些大型公司作了諸多嘗試。谷歌最早提出自動設計神經網絡NAS，基於NAS出現了許多變種。EfficientDet模型在參數量和計算量上有了很大的下降，同時精度又作到了很大的提高。在超參數調優方面，技術相對來說比較成熟，經常使用的技術有網格搜索和隨機搜索。用高斯過程去尋找一個比較好的超參數，從而讓算法工程師集中精力在算法模型自己上面。最後，上線以前的優化方面，又能作哪些工做呢？也有不少工具在探索模型的自動優化，好比TVM，在自己做爲優化工具的基礎上提出了AutoTVM概念，經過設定一個搜索空間來對優化參數進行搜索，在計算時充分提升硬件執行單元的並行度，從而加快算子的執行效率。

京東的自動學習機器平臺QuickAI

那麼，如何把自動機器學習技術和整個方案結合起來呢？

把AutoML技術和整個方案結合起來造成一個產品，這是一個比較天然的想法。目前業界也有一些產品在作AutoML方面的工做，可是真正造成的產品比較少，更多的是關注在技術這一塊。京東把一些剛纔提到的技術都整合成一個大的Pipeline，造成了QuickAI這樣一個產品。QuickAI是一個全自動模型服務生產平臺，內置了大量預訓練模型，可以使用少許標註數據快速訓練模型，並一鍵發佈到線上。訪問http://quickai.jd.com，便可體驗該產品。在QuickAI平臺，容許用戶自動上傳數據，根據數據直接生成一個可用的模型，同時這個模型可以自動發佈到線上，效率很是高。

目前，QuickAI已經支持多個場景，包括圖像分類、物體檢測、文本識別以及結構化數據的迴歸預測。對於圖象分類和物體檢測，QuickAI內置了十多種領先的算法。在文字識別方面，QuickAI只需用戶上傳一張圖片，對圖片進行錨點設定，選取須要識別的區域，就至關於作好了一個模板，生成服務以後就能夠對這一類的票據進行自動的識別。在文本分類方面，最多見的場景在電商領域作評論分析。在迴歸預測的場景下，能夠經過預測商品的銷量或者庫存幫助商家進行及時的補貨和價格的調整。

QuickAI能夠實現AI模型全流程自動化：

最後，QuickAI的特色包括：

1. 全流程。QuickAI自己是一個端到端的流程，從數據介入、建模到最後服務上線一站式支持，可以實現全自動化。

2. 自動化。整個流程AI相關的部分所有自動化，客戶能夠快速看到AI賦能的效果，在模型迭代中算法工程師不須要或不多參與。

3. 低成本。算法部分自動化帶來了人力成本的大大下降，對業務的快速接入能夠節約很大的時間成本，讓客戶的業務可以快速體驗到AI的能力。

4. 可定製。根據業務特色，用戶可定義本身的場景，包括數據和模型服務的規範，算法工程師能夠自由向其中增長算法，由此實現新場景的自動化

5. 高性能。訓練和推理階段集成了包括硬件廠商提供的優化工具，並整合到自動化流程裏，可實現快速訓練和優化的服務

6. 可擴展。集羣規模能夠橫向擴展，支持外接其餘存儲系統，可以知足大規模業務的須要。

QuickAI平臺是開放給客戶的，對AI不太瞭解的人也能夠用QuickAI定製化本身的模型，從而大大加速AI落地的效率。QuickAI擁有良好的穩定性和細緻優化的性能，客戶無需作新的平臺的構建，在部署時能夠把整個平臺直接部署到客戶的環境下面，免去了一個開發-部署-構建環境的過程。

點擊【閱讀】可獲取「人臉口罩識別」及更多人工智能API使用場景參考：

• 語音合成（基礎音庫、精品音庫）：語音讀書、讀報等小說和新聞媒體客戶端等用戶場景；
• 拍照購：經過【拍照>識物>京東商城購物】的體驗給C端用戶提供服務；
• 增值稅發票識別：在財務報銷、發票審覈、帳單記錄等場景中對發票進行識別，實現信息快速錄入；並可與查驗平臺進行覈對發票真僞，及時規避相關風險；
• 人體檢測：智慧零售、安防監控等場景使用普遍。