基於nccn和mtcnn和facenet實現人臉識別（Android）

ncnn

ncnn 是一個爲手機端極致優化的高性能神經網絡前向計算框架。ncnn 從設計之初深入考慮手機端的部署和使用。無第三方依賴，跨平臺，手機端 cpu 的速度快於目前全部已知的開源框架。基於 ncnn，開發者可以將深度學習算法輕鬆移植到手機端高效執行，開發出人工智能 APP，將 AI 帶到你的指尖。ncnn 目前已在騰訊多款應用中使用，如 QQ，Qzone，微信，每天P圖等。

mtcnn

基於神經網絡計算的開源人臉檢測

facenet

基於神經網絡計算的開源人臉識別

mtcnn和facenet具體介紹能夠google一下

建立Android工程，編輯CMakeLists.txt文件

修改build.gradle,添加ndk環境

android {
    .....
    defaultConfig {
        ........
        externalNativeBuild {
            cmake {
                arguments "-DANDROID_TOOLCHAIN=clang"
                cFlags "-fopenmp -O2 -fvisibility=hidden -fomit-frame-pointer -fstrict-aliasing -ffunction-sections -fdata-sections -ffast-math "
                cppFlags "-fopenmp -O2 -fvisibility=hidden -fvisibility-inlines-hidden -fomit-frame-pointer -fstrict-aliasing -ffunction-sections -fdata-sections -ffast-math "
                arguments "-DANDROID_STL=c++_shared", "-DANDROID_CPP_FEATURES=rtti exceptions"
                cppFlags ""
                cppFlags "-std=c++11"
                cppFlags "-frtti"
                cppFlags "-fexceptions"
            }
        }
        ndk {
            abiFilters 'armeabi-v7a', 'arm64-v8a' //,'x86', 'x86_64', 'armeabi'
            stl "gnustl_static"
        }
    }
    compileOptions {
        targetCompatibility JavaVersion.VERSION_1_8
        sourceCompatibility JavaVersion.VERSION_1_8
    }
    ........
    externalNativeBuild {
        cmake {
            path "CMakeLists.txt"
            version "3.10.2"
        }
    }
}

複製代碼

而後在build.gradle的統計目錄下添加CMakeLists.txt

# For more information about using CMake with Android Studio, read the
# documentation: https://d.android.com/studio/projects/add-native-code.html

cmake_minimum_required(VERSION 3.4.1)

include_directories(src/main/cpp/opencv2
        src/main/cpp/opencv
        src/main/cpp/include
        src/main/cpp/)

file(GLOB MTCNN_SRC src/main/cpp/*.h
        src/main/cpp/*.cpp
        src/main/cpp/mtcnn.cpp
        src/main/cpp/mobilefacenet.cpp
        src/main/cpp/mtcnn_jni.cpp)

set(MTCNN_COMPILE_CODE ${MTCNN_SRC})

add_library(mtcnn SHARED ${MTCNN_COMPILE_CODE})

add_library(libopencv_java3 SHARED IMPORTED)
set_target_properties(libopencv_java3 PROPERTIES IMPORTED_LOCATION
        ${CMAKE_SOURCE_DIR}/src/main/jniLibs/${ANDROID_ABI}/libopencv_java3.so)

add_library(libncnn STATIC IMPORTED)
set_target_properties(libncnn
        PROPERTIES IMPORTED_LOCATION
        ${CMAKE_SOURCE_DIR}/src/main/jniLibs/${ANDROID_ABI}/libncnn.a)

find_library(log-lib log)

target_link_libraries(
        mtcnn
        libopencv_java3
        libncnn
        jnigraphics
        z
        ${log-lib})
複製代碼

添加so文件

• 在src的main文件夾下建立jniLibs,而後對應的ABI文件夾下添加libopencv_java3.so和libncnn.a

• 或者添加到其餘位置，在build.gradle中指定jinLibs也是能夠的

cpp文件夾

• 在src的main文件夾下建立cpp文件夾
• 須要用到ncnn和opencv,將ncnn的include和opencv的opencv和opencv2這三個文件夾複製到cpp文件夾下
• 編寫mtcnn.cpp和mobilefacenet.cpp以及mtcnn_jni.cpp
• 具體代碼見後面

將模型文件放入assets文件夾

將模型文件*.bin,*.param,放入assets文件夾，而且經過java代碼傳入NDK中初始化。

最後寫demo測試運行便可

性能

在RK3288上測試能夠達到20幀

代碼地址：android_face_ncnn