Android 基於人臉識別 SDK使用總結

體驗了虹軟 開放人臉識別的SDK引擎（免費的哦），恰好有Android版的。下面來講說Android版的SDK使用心得：

ArcFace 虹軟人臉認知引擎簡介

目前開放的版本有人臉比對（1:1）和人臉檢索（1：N），根據應用場景可選擇 人臉檢索分爲小型網絡（檢測100人內），中型網絡（1000人內），大型網絡（需聯繫虹軟官方） 目前開放的功能有人臉比對，人臉識別，人臉追蹤 關於如何使用

在官網下載SDK引擎後集成到你的項目中，而後我在此舉例說下其中一個sample:人臉識別
官方sample是這樣的:

AFR_FSDKInterface engine = new AFR_FSDKEngine();

    //用來存放提取到的人臉信息, face_1 是註冊的人臉，face_2 是要識別的人臉
    AFR_FSDKFace face1 = new AFR_FSDKFace();
    AFR_FSDKFace face2 = new AFR_FSDKFace();

    //初始化人臉識別引擎，使用時請替換申請的 APPID 和 SDKKEY
    AFR_FSDKError error = engine.AFR_FSDK_InitialEngine("APPID", "SDKKEY");
    Log.d("com.arcsoft", "AFR_FSDK_InitialEngine = " + error.getCode());

    //輸入的 data 數據爲 NV21 格式（如 Camera 裏 NV21 格式的 preview 數據）；人臉座標通常使用人臉檢測返回的 Rect 傳入；人臉角度請按照人臉檢測引擎返回的值傳入。
    error = engine.AFR_FSDK_ExtractFRFeature(data1, width, height, AFR_FSDKEngine.CP_PAF_NV21, new Rect(210, 178, 478, 446), AFR_FSDKEngine.AFR_FOC_0, face1);
    Log.d("com.arcsoft", "Face=" + face1.getFeatureData()[0]+ "," + face1.getFeatureData()[1] + "," + face1.getFeatureData()[2] + "," + error.getCode());

    error = engine.AFR_FSDK_ExtractFRFeature(data1, width, height, AFR_FSDKEngine.CP_PAF_NV21, new Rect(210, 170, 470, 440), AFR_FSDKEngine.AFR_FOC_0, face2);
    Log.d("com.arcsoft", "Face=" + face2.getFeatureData()[0]+ "," + face2.getFeatureData()[1] + "," + face2.getFeatureData()[2] + "," + error.getCode());

    //score 用於存放人臉對比的類似度值
    AFR_FSDKMatching score = new AFR_FSDKMatching(); error = engine.AFR_FSDK_FacePairMatching(face1, face2, score); Log.d("com.arcsoft", "AFR_FSDK_FacePairMatching=" + error.getCode()); Log.d("com.arcsoft", "Score:" + score.getScore());

    //銷燬人臉識別引擎
    error = engine.AFR_FSDK_UninitialEngine();
    Log.d("com.arcsoft", "AFR_FSDK_UninitialEngine : " + error.getCode());

代碼中的註釋已經解釋得很清楚了，這是再說下這個NV21格式的data數據。關於NV21是什麼東西，請戳https://msdn.microsoft.com/en-us/library/aa904813 使用場景 人臉識別一種場景能夠是實時攝像取景，便可以在相機的預覽界面裏進行。在Android的Camera裏有這樣一個回調:

mCamera.setPreviewCallback(new Camera.PreviewCallback() {
            @Override
            public void onPreviewFrame(byte[] data, Camera camera) {
               //這裏的data數據就是NV21格式，能夠在這裏處理人臉檢測             
            }
        });

注意：Camera裏的PictureCallback()，也就是咱們拍照的回調，裏面也有個data,可是這裏的data格式不是NV21的，因此在這裏傳入的data是不能處理人臉識別的

人臉檢測還能夠利用已有的圖像進行檢測，可是注意，Android裏對圖像處理的接口最經常使用的是BitMap吧。咱們須要把BitMap解碼爲RGB轉爲NV21才能檢測圖像中的人臉。這裏提供一種轉換工具類，固然大神能夠無視這個本身寫哈：

public static byte[] getNV21(int inputWidth, int inputHeight, Bitmap scaled) throws Exception {

        int[] argb = new int[inputWidth * inputHeight];

        scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);

        byte[] yuv = new byte[inputWidth * inputHeight * 3 / 2];
        encodeYUV420SP(yuv, argb, inputWidth, inputHeight);
        scaled.recycle();
        return yuv;
    }

    public static void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) throws Exception {
        final int frameSize = width * height;

        int yIndex = 0;
        int uvIndex = frameSize;

        int a, R, G, B, Y, U, V;
        int index = 0;
        for (int j = 0; j < height; j++) {
            for (int i = 0; i < width; i++) {

                a = (argb[index] & 0xff000000) >> 24; // a is not used obviously
                R = (argb[index] & 0xff0000) >> 16;
                G = (argb[index] & 0xff00) >> 8;
                B = (argb[index] & 0xff) >> 0;

                // well known RGB to YUV algorithm
                Y = ((66 * R + 129 * G + 25 * B + 128) >> 8) + 16;
                U = ((-38 * R - 74 * G + 112 * B + 128) >> 8) + 128;
                V = ((112 * R - 94 * G - 18 * B + 128) >> 8) + 128;

                // NV21 has a plane of Y and interleaved planes of VU each sampled by a factor of 2
                //    meaning for every 4 Y pixels there are 1 V and 1 U.  Note the sampling is every other
                //    pixel AND every other scanline.
                yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
                if (j % 2 == 0 && index % 2 == 0) {
                    yuv420sp[uvIndex++] = (byte) ((V < 0) ? 0 : ((V > 255) ? 255 : V));
                    yuv420sp[uvIndex++] = (byte) ((U < 0) ? 0 : ((U > 255) ? 255 : U));
                }

                index++;
            }
        }
    }

關於實測效果（用的小型網絡版本，僅表明我的意見）

人臉檢測速度很快，大概幾十毫秒就能檢測出人臉信息，20多張人臉的圖像只有1-2個檢測不到。 人臉識別這個功能，在特徵值提取上會慢點，大概須要100毫秒以上，不過由於用的是小型網絡（人數100如下達到最佳），因此這個速度也是徹底能夠知足應用的。關於人臉註冊方式，能夠自行建網或建雲，固然採用本地化也是能夠的，用數據庫和文件等多種方式都可註冊人臉。 人臉追蹤看了下接口跟人臉檢測的接口是徹底同樣的，沒有測試不做評價。 總結

虹軟免費開放SDK引擎這點很贊 引擎暫不支持人臉信息特徵值合成，只能經過註冊多張人臉來解決 這個引擎二次開發的可拓展性是很強的，開發者能夠根據本身的應用場景去拓展功能，這樣能夠保證引擎的純潔度、可拓展性 又GET到不少乾貨 還沒探索到1：N狀況下高效識別的方法，目前遍歷數據庫人臉信息做比對人數多的話識別速度應該會慢不少，請問有高人指導下如何優化不？ 還不行，還得再繼續努力 下面是sdk下載地址https://ai.arcsoft.com.cn/ucenter/user/reg?utm_source=csdn1&utm_medium=referral