AI視覺在教育場景中的創新應用

文 / 張焰

整理 / LiveVideoStack

1 公司介紹

你們好，首先介紹一下咱們的公司，咱們屬於360集團內部孵化的創新業務線，專一於AI視覺算法的研發和應用。咱們圍繞着人、物、場景三個方向爲智能手機、泛文娛、IOT領域提供一些專業的算法支持和行業解決方案。

咱們的核心能力包括智能多攝、單幀/多幀畫質，這類算法在手機客戶中應用較多；人像美化，包括AR特效等會運用到泛文娛的領域；場景識別涉及人、物、環境等多樣化的場景識別能力，另外包括一些視頻分析的能力，在IOT領域也有普遍應用。

本次個人分享主題是360AI視覺在在線教育中的創新算法和應用。

2 咱們爲何在作教育

固然不少人會說，家長願意爲孩子花錢，作教育更容易掙到錢。但更重要的是由於疫情的爆發，使得在線教育獲得了史無前例的發展機遇。在一兩個月內，政府部門就將線下的教學場景搬到了線上，完成了大遷移，但在這個大躍進中也暴露了不少問題。

2.1 在線教育行業痛點

在線教育仍有不少痛點亟待解決。

第一點是學生自覺性差。K12教育是典型的督導式教學，之前的督導壓力都在老師身上，面對面在線下督導學生，而如今督導的壓力都轉移給了家長，家長確實是操碎了心。

第二點是教學效果難以評估。意思就是這個學生有沒有認真聽，有沒有聽懂，是沒有量化指標的。

第三點是課堂互動性差。由於技術的不完善及各類主客觀限制，線上課堂很難完整地模擬線下課堂場景，缺少雙向互動的環境。

第四點是教學效率低。包括從教師端到學生端的適應和學習成本，還有空間限制帶來的管教效率。

以上四個問題總結而言就是缺乏了教育質量監督評價體系，而咱們要作的事情就是彌補和改善這個體系的缺失。

3 將來的思考AI視覺能爲在線作什麼？

咱們針對以上問題提出了對應的解決方案，分別是：代替督學方案、量化監測方案、智能互動方案、智能教輔工具。

3.1 代替督學方案

3.1.1 疲勞提醒

也許有些人在以前已經聽過或用過這項技術，現現在的檢測準確率較早前已經有很大改進。咱們的疲勞提醒有三個維度，包括「打哈欠」、「瞌睡」和「趴着」，「打哈欠」和「瞌睡」這兩個維度在汽車駕駛中早有應用，針對教育場景咱們單獨研發了「趴着」的監測。「趴着」這個維度如何檢測準確是比較有難度的，有些人可能會想到能夠用人體骨骼關鍵點，這個方法針對全身仍是比較準的，但針對半身，尤爲是趴着時只有一個頭甚至是頭髮的時候，骨骼關鍵點沒法起做用了，這裏就須要用到更復雜的檢測手段和技術。

3.1.2 姿態糾正

姿態糾正這個功能你們可能在教育平板或教育檯燈中體驗過，用得也比較普遍。坐姿不良須要用到人的骨骼關節點和深度學習的技術，它有不少類別，包括上述提到過的趴着、臥倒、傾斜甚至是葛優躺，均可以認爲是姿態不正。距離提醒這一塊主要是用於護眼健康，能夠實時檢測到人臉到屏幕的距離。

3.1.3 學生姿態實時監測系統

這個姿態監測系統分爲兩個方面：人臉姿態、人體姿態。人體姿態在上面提到過，咱們是基於人體骨骼關鍵點配合深度圖像，從而精準地判斷出各種人體姿態。這項技術之前都是2D圖像信息，而咱們創造性加入了3D深度信息，來輔助人體姿態識別。深度圖像同時還能夠用來測距。那這個深度圖像從哪裏來呢？這就要和硬件相結合，像如今不少教育平板都加入了雙攝，前置結構光，前置TOF。

3.2 量化檢測

課堂專一度、課堂接受度是家長很是關注的。課堂專一度表示學生是否定真在聽，課堂接受度表示學生是否聽懂。以前咱們的客戶曾提過這個問題，家長沒有課堂表現報告，不知道學生上課狀態及學習效果到底怎麼樣。因此爲了解決這個痛點，咱們提出了課堂效果量化檢測的方案。

3.2.1 普通專一度檢測

你們能夠看一下這是以往的普通專一度檢測圖示，這裏只有一個2D圖像信息，檢測準確度存在較大偏差；其次它的監測指標單一，只有一些零散的指標次數，沒法精確地回溯學情。

3.2.2 360AI課堂專一度

上圖是咱們3D深度檢測+學情回溯追蹤的專一度監測解決方案。能夠看到咱們加入了3D的人臉檢測信息，能夠更精準地估計出姿態和視線方向。同時輔助事件觸發機制，判斷狀態的同時會保存當前事件的觸發時刻、事件截圖、狀態持續時長等，這樣能夠很是精確地有針對性地進行學情分析和回溯。

3.2.3 課堂接受度

課堂接受度是從上圖五個維度進行綜合分析，這裏的維度能夠分爲兩個方向，包括正向指標和負向指標。從課堂接受度而言，正向的評價有舉手、微笑、點頭，表明學生參與度比較高，表示他（她）聽懂了。負向的評價是疑惑、搖頭，這說明接受度不過高。

3.2.4 表情識別流程圖

剛剛說到了疑惑的表情，老師的責任就是傳道受業解惑，若是老師都不知道學生有沒有疑惑，他（她）怎麼去解惑？因此首先咱們要把疑惑檢測出來，在學術界，只有七類表情，沒有疑惑，因此咱們專門爲教育增長了疑惑的表情。咱們加入了大量疑惑的數據，經過結合人臉識別技術和人臉關鍵點技術輔助檢測，能夠比較精準的判斷出疑惑的表情。

3.3 智能互動（AI沉浸式課件、多向智能互動）

咱們的智能互動方案主要介紹兩個技術，分別是AI沉浸式課件和多向智能互動技術。

3.3.1 傳統課件

上圖是傳統課件的錄播和直播課場景，錄播課通常都會像上圖左邊所示搭一個錄播室，後面有綠幕，有補光燈。這對環境條件要求很高，要有場地，要有設備，很不方便。上圖右邊是比較常見直播課界面，只有一個老師的頭像和投放的課件，這兩個東西是分屏展現的，也就是說老師和課件之間沒有任何互動。

3.3.2 AI沉浸式課件

上圖是咱們研發的AI沉浸式課件，把老師的頭像與課件內容融合在一塊兒，能夠經過手勢控制課件的播放，好比說下一頁、上一頁、暫停等，有很直觀的互動效果。老師和課件徹底融合在一塊兒，不受場地限制，不須要專用設備，只須要一個攝像頭就能夠了。

3.3.3 網課互動限制

上圖是如今比較主流的網絡教學直播界面，主要是以老師單向輸出爲主，學生被動接受，學生和老師之間僅能經過文字互動。

3.3.4 多向智能互動

咱們但願經過一些技術手段，改變這種單一的互動模式，讓網課更生動、更有趣。

手勢識別

像咱們動畫裏展現的是老師點讚的特效，學生端能夠實時收到顯眼的反饋。那學生舉手老師知不知道呢？這也是能夠識別的，好比說學生舉手後快速把頭像換成第一位，把頭像放大，老師能夠快速知道是哪一個學生舉手了，這項功能能夠模擬復現線下教學場景。

表情識別

再好比表情識別，檢測到學生出現疑惑情緒，系統就會把她highlight出來，老師就知道哪一個學生沒有聽懂。這是很是有價值的，如今在線教育並無作到這一點。

人臉特效

還有一些增長趣味性的人臉特效，一些可愛的動效能夠抓住低領學生的注意力和興趣點。

3.4 智能工具（超清拍題，智能補光，人臉考勤）

超清拍題與智能補光是咱們首發的技術。

3.4.1 超清拍題——拍照模糊問題

在線教育除了直播授課，還有課後做業場景，學生會遇到拍課件、拍題的問題。大部分學生的手都很小，若是用學習平板很容易拿不穩，拍題就拍虛了。固然也有人會說，我能夠用光學防抖，但你們都知道光學防抖的每個器件要增長3-4美金成本。只有買的是真正的旗艦手機，纔會有光學防抖。因此咱們提出了純軟的光學防抖方案，一次性解決上圖所示各類拍照模糊問題，好比失焦，曝光拖影，抖動，噪點，暗光等。

3.4.2 超清拍照——一個方案解決全部拍攝模糊問題

這個方案是我第一次公開講，有些手機客戶已經接入了咱們的方案。流程也很簡單，輸入有兩種方式，傳感器輸入和三幀圖像，再進行傳感器融合，位置估計，運動向量估計，根據位置信息進行防抖去模糊處理。輸入的三幀照片進行對齊，降噪等一系列處理，最後進行動態範圍提高和圖像加強。圖像加強包括對比度加強銳化，總體是一個比較複雜的流程，這裏咱們簡化給你們展現。

3.4.3 客戶案例——錄音筆HD Shot

這是咱們的一個客戶案例，咱們的超清拍照技術已經應用在訊飛智能錄音筆上，能夠用來提高拍會議文檔的圖像質量，再也不擔憂拍照拍虛的問題。

3.4.4 HD Shot效果展現

咱們來看一下具體的效果對比。

這是加強效果。

這是防抖效果。

這是HDR效果，主要是提高動態範圍，實現高光抑制和暗部提亮。

咱們的畫質提高能力不只體如今拍照上，還能應用於視頻。

3.4.5 智能補光燈

一般專業的主播間中都有一個很大的補光燈，長期近距離直視或多或少會對眼睛產生傷害，因而咱們提出了純軟的補光方案。上圖所示是全局補光效果，咱們還有一個只針對人臉補光的方案，基於膚色分割和3D打光技術，提高人臉質感和通透度。

3.4.6 人臉考勤

人臉考勤對線上和線下課堂都很是有價值，能夠快速進行學生考勤，同時可防止代答到的狀況發生。

4 客戶案例——網課助手

看完前面的技術介紹，接下來介紹一下咱們針對在線教育研發的一個課質監測產品，叫網課助手。網課助手有4大場景SDK，包含專一度，課堂接受度，疲勞提醒，姿態糾正。這個SDK既能夠發給老師又能夠發給家長，在後臺自動生成檢測報告，家長和老師能夠更全面直觀地看到學生的學習狀況和情緒狀態。

4.1 方案架構

網課助手的架構是典型邊緣計算+雲計算的架構，家長端只須要本地端的能力，本地端的設備愈來愈強，你們用的平板手機能力很強，這些檢測能力徹底能夠在端上實現，後臺更多的是和教育系統打通，把狀態及時推送給家長和老師。

4.2 應用場景

有了檢測數據以後，老師能夠快速獲得整個班級表現情況，上圖左邊表明每一個維度上每一個學生表現佔比，分別展現表現好、中、差。上圖右邊能夠將表現很是好和很是差的學生排列出來，作相應的獎勵或輔導。

對於單個學生，咱們也能夠給出更詳細的分析報告。好比想看疲勞度，會以時間軸的形式進行展開，發如今10點21分檢測到學生瞌睡，瞌睡持續時長一目瞭然。

想看看學生接受度如何，也能夠根據時間戳回溯事件，看學生在哪部份內容上接受度較好，哪部分較差。

5

總 結

咱們一整套的在線教育解決方案是金字塔架構，底層是AI底層技術，包括人臉識別、表情識別、手勢識別、姿態識別等技術；中層是基於各個場景的解決方案；最上層就是跨平臺的SDK和業務端的應用。好的AI技術咱們但願不僅是噱頭，而是能夠真正爲客戶起到降本增效的做用。

專一度與課堂接受度是爲了給家長省心，老師放心，時間精力也算是一種成本；沉浸式課件課件減小投影儀，電視的使用；防抖技術能夠省去光學防抖器件成本，省掉智能補光燈的成本，這都是AI實實在在的價值。

360AI視覺不止作教育，在智能手機、泛娛樂、IOT等領域都有豐富的技術應用，期待和各行各業的朋友有更多交流合做。