2011年12月微信3.5版本正式上線「掃一掃」二維碼,歷經9年蛻變,「掃一掃」從二維碼名片到掃碼支付、從小程序碼到健康碼,二維碼已經成爲一種生活方式,鏈接着數字與現實。html
如今,在騰訊WeChatCV團隊的貢獻下,微信掃碼引擎正式加入OpenCV開源了!只需3行代碼,你便輕鬆擁有微信的掃碼能力:git
import cv2
detector = cv2.wechat_qrcode_WeChatQRCode("detect.prototxt", "detect.caffemodel", "sr.prototxt", "sr.caffemodel")
img = cv2.imread("img.jpg")
res, points = detector.detectAndDecode(img)
print(res, points)
微信掃碼引擎收錄於:opencv_contrib/modules/wechat_qrcodegithub
開發文檔: https://docs.opencv.org/master/d5/d04/classcv_1_1wechat__qrcode_1_1WeChatQRCode.htmlweb
微信掃碼引擎是一款基於開源引擎ZXing,並高度優化和深度改造的高性能輕量二維碼識別器。
「一圖多碼」是掃碼支付常常遇到的線下場景。早在2016年,微信掃碼引擎在業內率先支持遠距離二維碼檢測、自動調焦定位、多碼檢測識別。然而,傳統方法須要犧牲40%以上的性能來支持多碼的檢測與識別。伴隨着深度學習技術的成熟和移動端計算能力的提高,微信掃碼引擎引入基於CNN的二維碼檢測器解決上述問題。
咱們以SSD框架爲基礎,構造了短小精幹的二維碼檢測器(圖1),採用殘差鏈接(Residual Concat)、深度卷積(Depthwise Convolution)、空洞卷積(Dilated Convolution)、卷積投影(Convolution Projection)等技術進行了針對性的優化。整個模型大小僅943KB,iPhone7(A10)單CPU的推理時間僅需20ms,很好地知足「低延時、小體積、高召回」的業務需求。
https://github.com/opencv/opencv_contrib/blob/master/modules/wechat_qrcode/src/wechat_qrcode.cpp#L156
https://github.com/WeChatCV/opencv_3rdparty/blob/wechat_qrcode/detect.prototxt
https://github.com/WeChatCV/opencv_3rdparty/blob/wechat_qrcode/detect.caffemodel
「大圖小碼」是遠距掃碼和長按識碼常常面臨的難點,二維碼加強技術可讓小碼更加清晰。2014年,微信率先在對話中上線「識別圖中二維碼」能力,離不開加強技術的加持。在長按識別的場景中,二維碼圖像通過用戶的裁剪、壓縮、轉發,圖像質量嚴重受損,分辨率急劇降低,邊緣變得模糊不清,這給掃碼引擎的識別帶來了極大的挑戰。
傳統圖像加強算法很難完美地解決以上問題,所以微信掃碼引擎率先在識別流程中引入了基於深度學習的超分辨率技術(圖2)。在網絡結構上,密集鏈接(Dense Concat)、深度卷積(Depthwise Convolution)、反向卷積(Deconvolution)、殘差學習(Residual Learning)等技術改善模型的性能;在目標函數上,針對二維碼強邊緣和二值化的特色,結合L2/L1損失、邊界加權、二值約束設計了針對二維碼的目標函數。通過精心的調優,超分辨率模型大小僅23KB,在iPhone7(A10)單CPU的推理時間僅需6ms(100x100超分200x200),徹底知足移動端的應用需求。
超分代碼:https://github.com/opencv/opencv_contrib/blob/master/modules/wechat_qrcode/src/wechat_qrcode.cpp#L68
https://github.com/WeChatCV/opencv_3rdparty/blob/wechat_qrcode/sr.prototxt
https://github.com/WeChatCV/opencv_3rdparty/blob/wechat_qrcode/sr.caffemodel
二維碼在識別的時候,一般須要根據掃描像素行/列匹配對應比例來尋找定位點(圖3)。
在定位點檢測上,咱們提出面積法的定位點檢測方法,相比於傳統掃描線方法更爲魯棒和高效,有效地避免了誤召回和漏召回;在定位點匹配上,特徵聚類方法使得掃碼引擎能夠高效和準確地匹配多個定位點;在圖像二值化上,引入多種更爲魯棒的二值化方法,有效地提升解碼的成功率。
https://github.com/opencv/opencv_contrib/blob/master/modules/wechat_qrcode/src/wechat_qrcode.cpp#L117
結合傳統計算機視覺和深度學習技術,微信掃碼引擎解決了一圖多碼、大圖小碼、魯棒解碼等業務痛點和技術難點。現在,該引擎在OpenCV上正式開源,期待廣大開發者與咱們一同打造業內領先的掃碼引擎!