今天忽然有個小學弟加我VX說要諮詢我點技術問題（終於能夠裝X了）。 看了他的需求描述，大概是要作一個Java web版本的人臉識別功能，而後存儲人物的特徵，再掃臉比對。但是我不會啊。。。javascript
不過，做爲一個寵粉的暖男，別說有困難就是沒困難製造困難也要上，既然人家這麼真誠的諮詢，說明我仍是有被須要的價值，不會那就幫着查查資料吧！沒想到還有意外的收穫~前端
看完他的境遇，突然想起本身當年作畢設時那無助的樣子，是何等的類似。往往看到有這樣的諮詢，能幫的我都盡本身最大努力幫，畢竟都是這麼走過來的。java
人臉識別SDK
人臉識別技術是很複雜的，本身用Java手撕一個識別算法有點不切實際，畢竟實力不容許我這麼囂張，仍是藉助三方的SDK吧！mysql
找了一圈發現一個免費的人臉識別SDK： ArcSoft:，地址：https://ai.arcsoft.com.cn。git
官網首頁 -> 右上角開發者中心 -> 選擇「人臉識別」 -> 添加SDK，會生成APPID、SDK KEY後續會用到，根據須要選擇不一樣的環境（本文基於windows環境），而後下載SDK是一個壓縮包。程序員
Java項目搭建
終於在個人苦苦搜尋之下終於，找到一個ArcSoft的Java版本Demo，開源真是一件美好的事情，話很少說開幹！github
一、下載demo項目web
github地址：https://github.com/xinzhfiu/ArcSoftFaceDemo，本地搭建數據庫，建立表:user_face_info。這個表主要用來存人像特徵，其中主要的字段 face_feature 用二進制類型 blob 存放人臉特徵。面試
SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for user_face_info -- ---------------------------- DROP TABLE IF EXISTS `user_face_info`; CREATE TABLE `user_face_info` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主鍵', `group_id` int(11) DEFAULT NULL COMMENT '分組id', `face_id` varchar(31) DEFAULT NULL COMMENT '人臉惟一Id', `name` varchar(63) DEFAULT NULL COMMENT '名字', `age` int(3) DEFAULT NULL COMMENT '年紀', `email` varchar(255) DEFAULT NULL COMMENT '郵箱地址', `gender` smallint(1) DEFAULT NULL COMMENT '性別，1=男，2=女', `phone_number` varchar(11) DEFAULT NULL COMMENT '電話號碼', `face_feature` blob COMMENT '人臉特徵', `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立時間', `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新時間', `fpath` varchar(255) COMMENT '照片路徑', PRIMARY KEY (`id`) USING BTREE, KEY `GROUP_ID` (`group_id`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC; SET FOREIGN_KEY_CHECKS = 1;
二、修改application.properties文件ajax
整個項目仍是比較完整的，只需改一些配置便可啓動，但有幾點注意的地方，後邊會重點說明。
config.arcface-sdk.sdk-lib-path： 存放SDK壓縮包中的三個.dll文件的路徑
config.arcface-sdk.app-id ： 開發者中心的APPID
config.arcface-sdk.sdk-key ：開發者中心的SDK Key
config.arcface-sdk.sdk-lib-path=d:/arcsoft_lib config.arcface-sdk.app-id=8XMHMu71Dmb5UtAEBpPTB1E9ZPNTw2nrvQ5bXxBobUA8 config.arcface-sdk.sdk-key=BA8TLA9vVwK7G6btJh2A2FCa8ZrC6VWZLNbBBFctCz5R # druid 本地的數據庫地址 spring.datasource.druid.url=jdbc:mysql://127.0.0.1:3306/xin-master?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC spring.datasource.druid.username=junkang spring.datasource.druid.password=junkang
三、根目錄建立lib文件夾
在項目根目錄建立文件夾 lib,將下載的SDK壓縮包中的arcsoft-sdk-face-2.2.0.1.jar放入項目根目錄
四、引入arcsoft依賴包
<dependency>
<groupId>com.arcsoft.face</groupId>
<artifactId>arcsoft-sdk-face</artifactId>
<version>2.2.0.1</version>
<scope>system</scope>
<systemPath>${basedir}/lib/arcsoft-sdk-face-2.2.0.1.jar</systemPath>
</dependency>
pom.xml文件要配置includeSystemScope屬性，不然可能會致使arcsoft-sdk-face-2.2.0.1.jar引用不到
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<configuration>
<includeSystemScope>true</includeSystemScope>
<fork>true</fork>
</configuration>
</plugin>
</plugins>
</build>
五、啓動項目
到此爲止配置完成，run Application文件啓動
測試一下：http://127.0.0.1:8089/demo，以下頁面即啓動成功
操做
一、錄入人臉圖像
頁面輸入名稱，點擊攝像頭註冊調起本地攝像頭，提交後將當前圖像傳入後臺，識別提取當前人臉體徵，保存至數據庫。
二、人臉對比
錄入完人臉圖像後測試一下可否識別成功，提交當前的圖像，發現識別成功類似度92%。可是做爲程序員對什麼事情都要持懷疑的態度，這結果不是老鐵在頁面寫死的吧？
爲了進一步驗證，這回把臉擋住再試一下，發現提示「人臉不匹配」，證實真的有進行比對。
源碼分析
簡單看了一下項目源碼，分析一下實現的過程：
頁面和JS一看就是後端程序員寫的，不要問我問爲何？懂的天然懂，哈哈哈 ~ ，
一、JS調起本地攝像頭拍照，上傳圖片文件字符串
function getMedia() {
$("#mainDiv").empty();
let videoComp = " <video id='video' width='500px' height='500px' autoplay='autoplay' style='margin-top: 20px'></video><canvas id='canvas' width='500px' height='500px' style='display: none'></canvas>";
$("#mainDiv").append(videoComp);
let constraints = {
video: {width: 500, height: 500},
audio: true
};
//得到video攝像頭區域
let video = document.getElementById("video");
//這裏介紹新的方法，返回一個 Promise對象
// 這個Promise對象返回成功後的回調函數帶一個 MediaStream 對象做爲其參數
// then()是Promise對象裏的方法
// then()方法是異步執行，當then()前的方法執行完後再執行then()內部的程序
// 避免數據沒有獲取到
let promise = navigator.mediaDevices.getUserMedia(constraints);
promise.then(function (MediaStream) {
video.srcObject = MediaStream;
video.play();
});
// var t1 = window.setTimeout(function() {
// takePhoto();
// },2000)
}
//拍照事件
function takePhoto() {
let mainComp = $("#mainDiv");
if(mainComp.has('video').length)
{
let userNameInput = $("#userName").val();
if(userNameInput == "")
{
alert("姓名不能爲空!");
return false;
}
//得到Canvas對象
let video = document.getElementById("video");
let canvas = document.getElementById("canvas");
let ctx = canvas.getContext('2d');
ctx.drawImage(video, 0, 0, 500, 500);
var formData = new FormData();
var base64File = canvas.toDataURL();
var userName = $("#userName").val();
formData.append("file", base64File);
formData.append("name", userName);
formData.append("groupId", "101");
$.ajax({
type: "post",
url: "/faceAdd",
data: formData,
contentType: false,
processData: false,
async: false,
success: function (text) {
var res = JSON.stringify(text)
if (text.code == 0) {
alert("註冊成功")
} else {
alert(text.message)
}
},
error: function (error) {
alert(JSON.stringify(error))
}
});
}
else{
var formData = new FormData();
let userName = $("#userName").val();
formData.append("groupId", "101");
var file = $("#file0")[0].files[0];
var reader = new FileReader();
reader.readAsDataURL(file);
reader.onload = function () {
var base64 = reader.result;
formData.append("file", base64);
formData.append("name",userName);
$.ajax({
type: "post",
url: "/faceAdd",
data: formData,
contentType: false,
processData: false,
async: false,
success: function (text) {
var res = JSON.stringify(text)
if (text.code == 0) {
alert("註冊成功")
} else {
alert(text.message)
}
},
error: function (error) {
alert(JSON.stringify(error))
}
});
location.reload();
}
}
}
二、後臺解析圖片，提取人像特徵
後臺解析前端傳過來的圖片，提取人像特徵存入數據庫，人像特徵的提取主要是靠FaceEngine引擎，順着源碼一路看下去，本身才疏學淺實在是沒懂具體是個什麼樣的算法。
/*
人臉添加
*/
@RequestMapping(value = "/faceAdd", method = RequestMethod.POST)
@ResponseBody
public Result<Object> faceAdd(@RequestParam("file") String file, @RequestParam("groupId") Integer groupId, @RequestParam("name") String name) {
try {
//解析圖片
byte[] decode = Base64.decode(base64Process(file));
ImageInfo imageInfo = ImageFactory.getRGBData(decode);
//人臉特徵獲取
byte[] bytes = faceEngineService.extractFaceFeature(imageInfo);
if (bytes == null) {
return Results.newFailedResult(ErrorCodeEnum.NO_FACE_DETECTED);
}
UserFaceInfo userFaceInfo = new UserFaceInfo();
userFaceInfo.setName(name);
userFaceInfo.setGroupId(groupId);
userFaceInfo.setFaceFeature(bytes);
userFaceInfo.setFaceId(RandomUtil.randomString(10));
//人臉特徵插入到數據庫
userFaceInfoService.insertSelective(userFaceInfo);
logger.info("faceAdd:" + name);
return Results.newSuccessResult("");
} catch (Exception e) {
logger.error("", e);
}
return Results.newFailedResult(ErrorCodeEnum.UNKNOWN);
}
三、人像特徵對比
人臉識別：將前端傳入的圖像通過人像特徵提取後，和庫中已存在的人像信息對比分析
/*
人臉識別
*/
@RequestMapping(value = "/faceSearch", method = RequestMethod.POST)
@ResponseBody
public Result<FaceSearchResDto> faceSearch(String file, Integer groupId) throws Exception {
byte[] decode = Base64.decode(base64Process(file));
BufferedImage bufImage = ImageIO.read(new ByteArrayInputStream(decode));
ImageInfo imageInfo = ImageFactory.bufferedImage2ImageInfo(bufImage);
//人臉特徵獲取
byte[] bytes = faceEngineService.extractFaceFeature(imageInfo);
if (bytes == null) {
return Results.newFailedResult(ErrorCodeEnum.NO_FACE_DETECTED);
}
//人臉比對，獲取比對結果
List<FaceUserInfo> userFaceInfoList = faceEngineService.compareFaceFeature(bytes, groupId);
if (CollectionUtil.isNotEmpty(userFaceInfoList)) {
FaceUserInfo faceUserInfo = userFaceInfoList.get(0);
FaceSearchResDto faceSearchResDto = new FaceSearchResDto();
BeanUtil.copyProperties(faceUserInfo, faceSearchResDto);
List<ProcessInfo> processInfoList = faceEngineService.process(imageInfo);
if (CollectionUtil.isNotEmpty(processInfoList)) {
//人臉檢測
List<FaceInfo> faceInfoList = faceEngineService.detectFaces(imageInfo);
int left = faceInfoList.get(0).getRect().getLeft();
int top = faceInfoList.get(0).getRect().getTop();
int width = faceInfoList.get(0).getRect().getRight() - left;
int height = faceInfoList.get(0).getRect().getBottom() - top;
Graphics2D graphics2D = bufImage.createGraphics();
graphics2D.setColor(Color.RED);//紅色
BasicStroke stroke = new BasicStroke(5f);
graphics2D.setStroke(stroke);
graphics2D.drawRect(left, top, width, height);
ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
ImageIO.write(bufImage, "jpg", outputStream);
byte[] bytes1 = outputStream.toByteArray();
faceSearchResDto.setImage("data:image/jpeg;base64," + Base64Utils.encodeToString(bytes1));
faceSearchResDto.setAge(processInfoList.get(0).getAge());
faceSearchResDto.setGender(processInfoList.get(0).getGender().equals(1) ? "女" : "男");
}
return Results.newSuccessResult(faceSearchResDto);
}
return Results.newFailedResult(ErrorCodeEnum.FACE_DOES_NOT_MATCH);
}
整我的臉識別功能的大體流程圖以下：
總結
整個項目的設計思路比較清晰，難點在於人臉識別引擎 和 前端JS部分代碼，其餘的功能比較日常。
源碼地址：https://github.com/xinzhfiu/ArcSoftFaceDemo/ 有任何技術問題，歡迎隨時溝通
整理了幾百本各種技術電子書，送給小夥伴們。關注公號回覆【666】自行領取。和一些小夥伴們建了一個技術交流羣，一塊兒探討技術、分享技術資料，旨在共同窗習進步，若是感興趣就加入咱們吧！
不管你是剛入行、仍是已經有幾年經驗的程序員，相信這份面試提綱都會給你很多助力，長按二維碼關注 『 程序員內點事 』 ，回覆 『 offer 』 自行領取，祝你們 offer 拿到手軟