NDK 開發之使用 OpenCV 實現人臉識別

1. 前言

本文講述如何使用 OpenCV 進行簡單的人臉識別開發，在此以前，須要配置好 OpenCV 和 NDK 環境。OpenCV 我使用的版本是：OpenCV 3.4.6，可在 這裏 下載。NDK 使用的版本是 android-ndk-r16b，可在 這裏 下載，對於由於使用其餘版本致使的問題，本文不作敘述，由於使用其餘版本，會遇到很是多的坑，敬請留意。

2. NDK 配置

在 SDK Manage 中安裝 LLDB 和 CMake 工具，下面的 NDK 先不安裝，由於後面咱們要配置下載好的 16b 版本。

而後在 Project Structure 中的 SDK Location 下面配置 NDK 路徑

3. OpenCV 配置

須要在 SDK 中的 OpenCV-android-sdk\sdk\native\libs\armeabi-v7a 找到 libopencv_java3.so，在 OpenCV-android-sdk\sdk\native\jni\include 中找到 opencv 和 opencv2 文件夾，copy 到項目中去。

在 CMakeLists.txt 中，配置好 opencv，配置以下 4 點

# For more information about using CMake with Android Studio, read the
# documentation: https://d.android.com/studio/projects/add-native-code.html

# Sets the minimum version of CMake required to build the native library.

cmake_minimum_required(VERSION 3.4.1)

#set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=gnu++11")
# 1.判斷編譯器類型,若是是gcc編譯器,則在編譯選項中加入c++11支持
if(CMAKE_COMPILER_IS_GNUCXX)
    set(CMAKE_CXX_FLAGS "-std=c++11 ${CMAKE_CXX_FLAGS}")
    message(STATUS "optional:-std=c++11")
endif(CMAKE_COMPILER_IS_GNUCXX)

# 2.須要引入咱們頭文件,以這個配置的目錄爲基準
include_directories(../../main/jniLibs/include)

# 3.添加依賴 opencv.so 庫
set(distribution_DIR ${CMAKE_SOURCE_DIR}/../../../../src/main/jniLibs)
add_library(
        opencv_java3
        SHARED
        IMPORTED)
set_target_properties(
        opencv_java3
        PROPERTIES IMPORTED_LOCATION
        ../../../../src/main/jniLibs/armeabi-v7a/libopencv_java3.so)

# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds them for you.
# Gradle automatically packages shared libraries with your APK.

add_library( # Sets the name of the library.
        native-lib

        # Sets the library as a shared library.
        SHARED

        # Provides a relative path to your source file(s).
        native-lib.cpp)

# Searches for a specified prebuilt library and stores the path as a
# variable. Because CMake includes system libraries in the search path by
# default, you only need to specify the name of the public NDK library
# you want to add. CMake verifies that the library exists before
# completing its build.

find_library( # Sets the name of the path variable.
        log-lib

        # Specifies the name of the NDK library that
        # you want CMake to locate.
        log)

# Specifies libraries CMake should link to your target library. You
# can link multiple libraries, such as libraries you define in this
# build script, prebuilt third-party libraries, or system libraries.

target_link_libraries( # Specifies the target library.
        native-lib opencv_java3
        # 4.加入該依賴庫
        jnigraphics

        # Links the target library to the log library
        # included in the NDK.
        ${log-lib})
複製代碼

gradle 的配置

android {
    ...
    defaultConfig {
        ...
        externalNativeBuild {
            cmake {
                cppFlags "-std=c++11 -frtti -fexceptions"
                abiFilters 'armeabi-v7a'
                arguments "-DANDROID_STL=gnustl_static"
            }
            ndk {
                abiFilters 'armeabi-v7a'
            }
        }
    }
    
    externalNativeBuild {
        cmake {
            path "src/main/cpp/CMakeLists.txt"
        }
    }
}
複製代碼

4. 具體核心實現

4.1 Kotlin 上層實現

編寫 FaceDetection 類，用於與 native 交互，所具備的方法是 檢測人臉並保存人臉信息 以及 加載人臉識別的分類器文件

class FaceDetection {

    /**
     * 檢測人臉並保存人臉信息
     * @param mFaceBitmap
     */
    external fun faceDetectionSaveInfo(mFaceBitmap: Bitmap): Int

    /**
     * 加載人臉識別的分類器文件
     * @param filePath
     */
    external fun loadCascade(filePath: String)

    companion object {

        init {
            System.loadLibrary("native-lib")
        }
    }

}
複製代碼

在 MainActivity 中編寫功能代碼

class MainActivity : AppCompatActivity() {

    private var mFaceBitmap: Bitmap? = null
    private var mFaceDetection: FaceDetection? = null
    private var mCascadeFile: File? = null

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_main)
        mFaceBitmap = BitmapFactory.decodeResource(resources, R.drawable.timg1)
        face_image.setImageBitmap(mFaceBitmap)
        copyCascadeFile()
        mFaceDetection = FaceDetection()
        if (mCascadeFile != null) {
            mFaceDetection?.loadCascade(mCascadeFile!!.absolutePath)
        }
    }


    private fun copyCascadeFile() {
        try {
            // load cascade file from application resources
            var inputStream = resources.openRawResource(R.raw.lbpcascade_frontalface)
            val cascadeDir = getDir("cascade", Context.MODE_PRIVATE)
            mCascadeFile = File(cascadeDir, "lbpcascade_frontalface.xml")
            if (mCascadeFile!!.exists()) return
            val os = FileOutputStream(mCascadeFile)

            var buffer = ByteArray(4096)
            var bytesRead: Int = inputStream.read(buffer)
            while (bytesRead != -1) {
                os.write(buffer, 0, bytesRead)
                bytesRead = inputStream.read(buffer)
            }
            inputStream.close()
            os.close()
        } catch (e: IOException) {
            e.printStackTrace()
        }

    }

    fun faceDetection(view: View) {
        // 識別人臉，保存人臉特徵信息
        mFaceBitmap?.let {
            mFaceDetection?.faceDetectionSaveInfo(it)
            face_image.setImageBitmap(it)
        }

    }

}

複製代碼

4.2 native 層的代碼實現

咱們分析需求，結合 OpenCV 的特性，須要對傳下來的 Bitmap 進行轉換成 Mat，後面識別完畫框須要將 Mat 轉換爲 Bitmap 回調給 Kotlin 層。Mat 裏面有個 type ： CV_8UC4 恰好對上咱們的 Bitmap 中 ARGB_8888 , CV_8UC2 恰好對象咱們的 Bitmap 中 RGB_565。函數具體實現以下

// bitmap 轉成 Mat
JNIEXPORT void bitmap2Mat(JNIEnv *env, Mat &mat, jobject bitmap) {
    // Mat 裏面有個 type ： CV_8UC4 恰好對上咱們的 Bitmap 中 ARGB_8888 , CV_8UC2 恰好對象咱們的 Bitmap 中 RGB_565
    // 1. 獲取 bitmap 信息
    AndroidBitmapInfo info;
    void* pixels;
    AndroidBitmap_getInfo(env,bitmap,&info);

    // 鎖定 Bitmap 畫布
    AndroidBitmap_lockPixels(env,bitmap,&pixels);
    // 指定 mat 的寬高和type  BGRA
    mat.create(info.height,info.width,CV_8UC4);

    if(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888){
        // 對應的 mat 應該是  CV_8UC4
        Mat temp(info.height,info.width,CV_8UC4,pixels);
        // 把數據 temp 複製到 mat 裏面
        temp.copyTo(mat);
    } else if(info.format == ANDROID_BITMAP_FORMAT_RGB_565){
        // 對應的 mat 應該是  CV_8UC2
        Mat temp(info.height,info.width,CV_8UC2,pixels);
        // mat 是 CV_8UC4 ，CV_8UC2 -> CV_8UC4
        cvtColor(temp,mat,COLOR_BGR5652BGRA);
    }
    // todo 其餘要本身去轉

    // 解鎖 Bitmap 畫布
    AndroidBitmap_unlockPixels(env,bitmap);
}

// mat 轉成 Bitmap
void mat2Bitmap(JNIEnv *env, Mat mat, jobject bitmap) {
    // 1. 獲取 bitmap 信息
    AndroidBitmapInfo info;
    void* pixels;
    AndroidBitmap_getInfo(env,bitmap,&info);

    // 鎖定 Bitmap 畫布
    AndroidBitmap_lockPixels(env,bitmap,&pixels);

    if(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888){// C4
        Mat temp(info.height,info.width,CV_8UC4,pixels);
        if(mat.type() == CV_8UC4){
            mat.copyTo(temp);
        }
        else if(mat.type() == CV_8UC2){
            cvtColor(mat,temp,COLOR_BGR5652BGRA);
        }
        else if(mat.type() == CV_8UC1){// 灰度 mat
            cvtColor(mat,temp,COLOR_GRAY2BGRA);
        }
    } else if(info.format == ANDROID_BITMAP_FORMAT_RGB_565){// C2
        Mat temp(info.height,info.width,CV_8UC2,pixels);
        if(mat.type() == CV_8UC4){
            cvtColor(mat,temp,COLOR_BGRA2BGR565);
        }
        else if(mat.type() == CV_8UC2){
            mat.copyTo(temp);

        }
        else if(mat.type() == CV_8UC1){// 灰度 mat
            cvtColor(mat,temp,COLOR_GRAY2BGR565);
        }
    }
    // todo 其餘要本身去轉

    // 解鎖 Bitmap 畫布
    AndroidBitmap_unlockPixels(env,bitmap);
}
複製代碼

人臉識別核心部分，可利用 OpenCV 對圖片進行灰度處理和直方均衡化，這樣能夠提升識別率，識別到人臉後，咱們須要在人臉上畫一個框，以看出識別結果。

jint JNICALL
Java_com_vegen_facedetection_FaceDetection_faceDetectionSaveInfo(JNIEnv *env, jobject instance, jobject bitmap) {
    // 檢測人臉  , opencv 有一個很是關鍵的類是 Mat ，opencv 是 C 和 C++ 寫的，只會處理 Mat , android裏面是Bitmap
    // 1. Bitmap 轉成 opencv 能操做的 C++ 對象 Mat , Mat 是一個矩陣
    Mat mat;
    bitmap2Mat(env,mat,bitmap);

    // 處理灰度 opencv 處理灰度圖, 提升效率，通常全部的操做都會對其進行灰度處理
    Mat gray_mat;
    cvtColor(mat,gray_mat,COLOR_BGRA2GRAY);

    // 再次處理 直方均衡補償
    Mat equalize_mat;
    equalizeHist(gray_mat,equalize_mat);

    // 識別人臉，也能夠直接用 彩色圖去作,識別人臉要加載人臉分類器文件
    std::vector<Rect> faces;
    cascadeClassifier.detectMultiScale(equalize_mat,faces,1.1,5);
    LOGE("人臉個數：%d",faces.size());
    if (faces.size() != 0) {
        for(Rect faceRect : faces) {
            // 在人臉部分畫個圖
            rectangle(mat,faceRect,Scalar(255,155,155),8);
            // 把 mat 咱們又放到 bitmap 裏面
            mat2Bitmap(env,mat,bitmap);
            
            // 保存人臉信息
            // 保存人臉信息 Mat , 圖片 jpg
            Mat face_info_mat(equalize_mat, faceRect);
            // 保存 face_info_mat
        }
    }

    return 0;
}
複製代碼

加載分類器文件

JNIEXPORT void JNICALL
Java_com_vegen_facedetection_FaceDetection_loadCascade(JNIEnv *env, jobject instance, jstring filePath_) {
    const char *filePath = env->GetStringUTFChars(filePath_, 0);
    cascadeClassifier.load(filePath);
    LOGE("加載分類器文件成功");
    env->ReleaseStringUTFChars(filePath_, filePath);
}
複製代碼

5. 識別成果

對一張女排團體照進行識別，發現識別率仍是挺高的，效果以下圖

原圖 （女排圖片來源網絡，侵刪）

識別後效果圖

6. 後話

OpenCV 的功能十分強大，後面將介紹更加詳細的使用教程，以及後續會完善實時識別人臉，敬請期待。

本文完整源碼可在此查看 github.com/Vegen/FaceD…，歡迎 star。