B站智能防擋彈幕的一種python實現

某天代碼寫得老眼昏花，去B站上摸魚，忽然發現奇怪的現象：

喲呵，B站居然作了視頻前景提取，把彈幕藏到畫面人物的後面。識別效果還意外地不錯呢。

而後又翻了下，發現這是個叫作「智能防擋彈幕」的功能，我只在部分舞蹈區的視頻裏找到了開關。

我不知道B站是怎麼實現的，但我腦中閃過一個想法：能不能用 Python 實現？簡單搜索了一下「python 前景提取」，發現 OpenCV 的 GrabCut 提供了這樣的功能。

那麼剩下的就好辦了。

先放最終實現效果（完整代碼見文末）：

以前咱們的「每週一坑」裏有講過怎麼在圖片上加文字：【解答】用代碼給圖片配上文字。用這個方法，能夠模擬彈幕的效果：

再用 GrabCut，提取出圖片上的前景部分。核心代碼：

import numpy as npimport cv2

mask = np.zeros(img.shape[:2],np.uint8)
bgdModel = np.zeros((1,65),np.float64)
fgdModel = np.zeros((1,65),np.float64)
rect = (10, 10, img.shape[1]-10, img.shape[0]-10)
cv2.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT)

img 是輸入圖像，mask 是輸出圖像，是一個二值化的蒙版（mask），rect 是待檢測區域，後面的數字 5 是迭代次數，其餘的參數照搬例子便可。輸出結果：

有了蒙版以後，就能夠對圖像進行運算。分別取出帶彈幕圖像的背景部分，和原圖像的前景部分，兩個加一塊兒，就是咱們最終須要的效果：

核心代碼：

img = img * (1-mask)[:,:,np.newaxis] + img * mask[:,:,np.newaxis]

基本功能這樣就完成了。將圖片的處理方法放到視頻中的每一幀，再加上彈幕飛過的效果，就完成了 Python 版的智能防擋彈幕。

更多的一些細節：

一、前景提取的速度比較慢，爲了能達到實時效果，我在提取前景時，將圖片縮小，獲取蒙版以後，再將其放大至原尺寸。蒙版自己的分辨率幾乎不影響最終效果，但經過這個方法就能夠作到實時。

二、每一幀的處理速度有快有慢，爲了穩定幀率，我加入了每幀時間的計算，若是時間不足設定時長，就 sleep 剩下的時間。

三、一些過渡幀的識別效果會比較差，致使中間少數蒙版出現相似「跳幀」的效果。爲了平滑這些幀，我在程序裏記錄每一幀蒙版中前景像素的數量，若是當前幀與以前 20 幀的平均值差距超過 50%，那就認爲這一幀的前景提取不合格，直接使用以前的蒙版。

四、爲了模擬實際效果，我還去B站抓了下視頻相關的彈幕，它是在一個 xml 文件中：

https://api.bilibili.com/x/v1/dm/list.so?oid=9931722

由於只有一個文件，我就直接經過 SublimeText 的正則替換功能對數據進行了整理，沒額外再寫爬蟲和處理的代碼。這是個很實用的小技巧。

代碼中我只使用了彈幕內容和時間兩個值。當到達某條彈幕時間，就把它放入激活列表，添加到圖像右側，隨機高度和顏色，而後每一幀將橫向位置向左移動。直到圖像左側外部後，從激活列表中移除。

最終效果演示視頻：

https://www.zhihu.com/video/1066336643396620288

做爲一個 demo，效果勉強能夠接受吧。對這種沒有預設背景信息，徹底靠圖像層面計算的話，準確率是不會過高的。因此只有這種背景單1、前景明顯的視頻效果還不錯。並且很明顯，白色衣服的效果就不太行。不知道B站的實現方法是怎樣，是否有人工干預，是否有預計算。我以爲有的可能性仍是很大的，由於畢竟只有少許視頻開啓了「智能防擋」。若是有了解狀況的，歡迎留言。

---

PS：說來我之前的論文，和這個也算是相關領域。

獲取「Python智能防擋彈幕」完整代碼，請在公*號（Crossin的編程教室）裏回覆關鍵字 彈幕

════

其餘文章及回答：

如何自學Python | 新手引導 | 精選Python問答 | Python單詞表 | 人工智能 | 爬蟲 | 我用Python | requests | 計算機視覺 | 字符播放器 | 一圖學Python

歡迎搜索及關注公*號：Crossin的編程教室