本文收錄在我的博客:www.chengxy-nds.top,技術資源共享。javascript
以前不是作了個開源項目嘛,在作完GitHub
登陸後,想着再顯得有逼格一點,說要再加我的臉識別登陸,就我這佛系的開發進度,過了一週總算是抽時間安排上了。前端
源碼在文末java
其實最近對寫文章有點小抵觸,寫的東西沒人看,總有點小失落,好在有同行大佬們的開導讓我重拾了信心。調整了本身的心態,只要我分享的東西對你們有幫助就好,至於多少人看那就隨緣吧!mysql
廢話很少說先看人臉識別效果動態,馬賽克有點重哈,沒辦法長相實在是拿不出手。ios
實現原理
咱們看一下實現人臉識別登陸的大體流程,三個主要步驟:git
-
前端登陸頁打開攝像頭,進行人臉識別,注意:只識別畫面中是否是有人臉github
-
識別到人臉後,拍照上傳當前畫面圖片sql
-
後端接受圖片並調用人臉庫SDK,對人像進行比對,經過則登陸成功,並將人像信息註冊到人臉庫和本地
mysql
。json
前端實現
上邊說過要在前端識別到人臉,因此這裏就不得不借助工具了,我使用的 tracking.js,一款輕量級的前端人臉識別框架。canvas
前端 Vue
代碼實現邏輯比較簡單,tracking.js
打開攝像頭識別到人臉信息後,對視頻圖像拍照,將圖片信息上傳到後臺,等待圖片對比的結果就能夠了。
data() { return { showContainer: true, // 顯示 tracker: null, tipFlag: false, // 提示用戶已經檢測到 flag: false, // 判斷是否已經拍照 context: null, // canvas上下文 removePhotoID: null, // 中止轉換圖片 scanTip: '人臉識別中...',// 提示文字 imgUrl: '', // base64格式圖片 canvas: null } }, mounted() { this.playVideo() }, methods: { playVideo() { var video = document.getElementById('video'); this.canvas = document.getElementById('canvas'); this.context = this.canvas.getContext('2d'); this.tracker = new tracking.ObjectTracker('face'); this.tracker.setInitialScale(4); this.tracker.setStepSize(2); this.tracker.setEdgesDensity(0.1); tracking.track('#video', this.tracker, {camera: true}); this.tracker.on('track', this.handleTracked); }, handleTracked(event) { this.context.clearRect(0, 0, this.canvas.width, this.canvas.height); if (event.data.length === 0) { this.scanTip = '未識別到人臉' } else { if (!this.tipFlag) { this.scanTip = '識別成功,正在拍照,請勿亂動~' } // 1秒後拍照,僅拍一次 if (!this.flag) { this.scanTip = '拍照中...' this.flag = true this.removePhotoID = setTimeout(() => { this.tackPhoto() this.tipFlag = true }, 2000 ) } event.data.forEach(this.plot); } }, plot(rect){ this.context.strokeStyle = '#eb652e'; this.context.strokeRect(rect.x, rect.y, rect.width, rect.height); this.context.font = '11px Helvetica'; this.context.fillStyle = "#fff"; this.context.fillText('x: ' + rect.x + 'px', rect.x + rect.width + 5, rect.y + 11); this.context.fillText('y: ' + rect.y + 'px', rect.x + rect.width + 5, rect.y + 22); }, // 拍照 tackPhoto() { this.context.drawImage(this.$refs.refVideo, 0, 0, 500, 500) // 保存爲base64格式 this.imgUrl = this.saveAsPNG(this.$refs.refCanvas) var formData = new FormData(); formData.append("file", this.imgUrl); this.scanTip = '登陸中,請稍等~' axios({ method: 'post', url: '/faceDiscern', data: formData, }).then(function (response) { alert(response.data.data); window.location.href="http://127.0.0.1:8081/home"; }).catch(function (error) { console.log(error); }); this.close() }, // 保存爲png,base64格式圖片 saveAsPNG(c) { return c.toDataURL('image/png', 0.3) }, // 關閉並清理資源 close() { this.flag = false this.tipFlag = false this.showContainer = false this.tracker && this.tracker.removeListener('track', this.handleTracked) && tracking.track('#video', this.tracker, {camera: false}); this.tracker = null this.context = null this.scanTip = '' clearTimeout(this.removePhotoID) } }
人臉識別
以前也搞過一我的臉識別案例 《基於 Java 實現的人臉識別功能(附源碼)》 ,不過調用SDK的方式太過繁瑣,並且代碼量巨大。因此此次爲了簡化實現,改用了百度的人臉識別API,沒想到出乎意料的簡單。
別擡槓問我爲啥不本身寫人臉識別工具,別問,問就是不會
在百度雲註冊一個應用 https://console.bce.baidu.com/ai/?_=1595996996657&fromai=1#/ai/face/app/list
,獲得 API Key
和 Secret Key
,爲了後續獲取 token
用。
百度雲人臉識別的API很是友好,各類操做的 demo都寫好了,拿過來簡單改改就能夠。
第一步先獲取token
,這是調用百度人臉識別API
的基礎。
https://aip.baidubce.com/oauth/2.0/token? grant_type=client_credentials& client_id=【百度雲應用的AK】& client_secret=【百度雲應用的SK】
接下來咱們開始對圖片進行比對,百度雲提供了一個在線的人臉庫,用戶登陸咱們先在人臉庫查詢人像是否存在,存在則表示登陸成功,若是不存在則註冊到人臉庫。每一個圖片有一個惟一標識face_token
。
百度人臉識別 API
實現比較簡單,須要特別注意參數image_type
,它有三種類型
BASE64
:圖片的base64值,base64編碼後的圖片數據,編碼後的圖片大小不超過2M;URL
:圖片的URL
地址( 可能因爲網絡等緣由致使下載圖片時間過長);FACE_TOKEN
:人臉圖片的惟一標識,調用人臉檢測接口時,會爲每一個人臉圖片賦予一個惟一的FACE_TOKEN
,同一張圖片屢次檢測獲得的FACE_TOKEN
是同一個。
而咱們這裏使用的是圖片BASE64
文件,因此image_type
要設置成BASE64
。
@Override public BaiDuFaceSearchResult faceSearch(String file) { try { byte[] decode = Base64.decode(Base64Util.base64Process(file)); String faceFile = Base64Util.encode(decode); Map<String, Object> map = new HashMap<>(); map.put("image", faceFile); map.put("liveness_control", "NORMAL"); map.put("group_id_list", "user"); map.put("image_type", "BASE64"); map.put("quality_control", "LOW"); String param = GsonUtils.toJson(map); String result = HttpUtil.post(faceSearchUrl, this.getAccessToken(), "application/json", param); BaiDuFaceSearchResult searchResult = JSONObject.parseObject(result, BaiDuFaceSearchResult.class); log.info(" faceSearch: {}", JSON.toJSONString(searchResult)); return searchResult; } catch (Exception e) { log.error("get faceSearch error {}", e.getStackTrace()); e.getStackTrace(); } return null; } @Override public BaiDuFaceDetectResult faceDetect(String file) { try { byte[] decode = Base64.decode(Base64Util.base64Process(file)); String faceFile = Base64Util.encode(decode); Map<String, Object> map = new HashMap<>(); map.put("image", faceFile); map.put("face_field", "faceshape,facetype"); map.put("image_type", "BASE64"); String param = GsonUtils.toJson(map); String result = HttpUtil.post(faceDetectUrl, this.getAccessToken(), "application/json", param); BaiDuFaceDetectResult detectResult = JSONObject.parseObject(result, BaiDuFaceDetectResult.class); log.info(" detectResult: {}", JSON.toJSONString(detectResult)); return detectResult; } catch (Exception e) { log.error("get faceDetect error {}", e.getStackTrace()); e.getStackTrace(); } return null; } @Override public BaiDuFaceAddResult addFace(String file, UserFaceInfo userFaceInfo) { try { byte[] decode = Base64.decode(Base64Util.base64Process(file)); String faceFile = Base64Util.encode(decode); Map<String, Object> map = new HashMap<>(); map.put("image", faceFile); map.put("group_id", "user"); map.put("user_id", userFaceInfo.getUserId()); map.put("user_info", JSON.toJSONString(userFaceInfo)); map.put("liveness_control", "NORMAL"); map.put("image_type", "BASE64"); map.put("quality_control", "LOW"); String param = GsonUtils.toJson(map); String result = HttpUtil.post(addfaceUrl, this.getAccessToken(), "application/json", param); BaiDuFaceAddResult addResult = JSONObject.parseObject(result, BaiDuFaceAddResult.class); log.info("addResult: {}", JSON.toJSONString(addResult)); return addResult; } catch (Exception e) { log.error("get addFace error {}", e.getStackTrace()); e.getStackTrace(); } return null; }
項目是先後端分離的,但爲了你們學習方便,我把人臉識別頁面整合到了後端項目。
最後 run FireControllerApplication 訪問地址:http://localhost:8082/face 便可。
源碼GitHub
地址:https://github.com/chengxy-nds/fire.git
,歡迎你們來耍~