Android中集成FFmpeg及NDK基礎知識

時間  2019-11-07
標籤 android 集成 ffmpeg ndk 基礎 知識 欄目 Android 简体版
原文   原文鏈接

前言

在平常App開發中,不免有些功能是須要藉助NDK來完成的,好比如今常見的音視頻處理等,今天就以ffmpeg入手,來學習下Android NDK開發的套路.html

JNI和NDK

不少人並不清除JNI和NDK的概念,常常搞混這兩樣東西,先來看看它們各自的定義吧.java

JNI

  • 是什麼linux

    JNI是Java Native Interface的縮寫，它提供了若干的API實現了Java和其餘語言的通訊(主要是C&C++).android

  • 設計目的git

    標準的java類庫不支持你的程序所需的特性。或者你已經有了一個用其餘語言寫成的庫或程序，而你但願在java程序中使用它。或者是你須要一個高性能的庫來完成一些操做.
複製代碼

  • 使用步驟github

    1. 編寫帶有native聲明的方法的java類
    2. 使用javac命令編譯所編寫的java類
    3. 而後使用javah + java類名生成擴展名爲h的頭文件
    4. 使用C/C++實現本地方法
    5. 將C/C++編寫的文件生成動態鏈接庫*(在Android中就是.so庫)
    6. java代碼中調用native方法

基本數據類型對應關係

NDK

NDK全稱Native Development Kit，是Android的一個開發工具包,與Java並無什麼關係.ubuntu

NDK的核心目的之一是讓您將 C 和 C++ 源代碼構建爲可用於應用的共享庫。嗯,就是它提供了交叉編譯的功能.api

CPU架構

咱們都知道 CPU 是什麼，那 CPU 架構究竟是什麼呢？迴歸到「架構」這個詞自己含義，CPU 架構就是 CPU 的框架結構、設計方案，處理器廠商以某種架構爲基礎，生產本身的 CPU，就比如「總-分-總」是文章的一種架構，多篇文章能夠都基於「總-分-總」架構。bash

常見的 CPU 架構有 x8六、x86-64 以及 arm 等， x86-64 其實也是基於 x86 架構，只是在 x86 的基礎上作了一些擴展，以支持 64 位程序的應用，常見的 Intel 、AMD 處理器都是基於 x86 架構的。架構

而 x86 架構主打的是 pc 端，對於移動端，arm 架構處於霸主地位 ，因爲其體積小、低功耗、低成本、高性能的優勢，被普遍應用在嵌入式系統中，目前大多數安卓、蘋果手機的 CPU 都基於 arm 架構，此處所說的 arm 架構指 arm 系列架構，其中包括 ARMv5 、ARMv7 等等。

最後再看 Android 端 ， Android 系統目前支持 ARMv五、ARMv七、ARMv八、 x86 、x86_6四、MIPS 以及 MIPS64 共七種 CPU 架構，也就是說除此以外其餘 CPU 架構的硬件並不能運行 Android 系統。

交叉編譯

在某個平臺上，編譯該平臺的可執行程序，叫作本地編譯，好比在 Windows 平臺上編譯 Windows 自身的可執行程序；在 x86 平臺上，編譯 x86 平臺自身的可執行程序。

在某個平臺上，編譯另外一種平臺的可執行程序，就是交叉編譯，好比在 x86 平臺上，編譯 arm 平臺的可執行程序，這也是 Android 端使用最多的交叉編譯類型。

在交叉編譯時，因爲主機與目標的體系架構、環境不一樣，因此交叉編譯比本地編譯複雜不少，須要一些工具來解決主機與目標不一樣特性的問題，這些工具構成的工具集就叫作交叉編譯鏈。

既然交叉編譯比本地複雜不少，那爲何不使用本地編譯，好比在 arm 平臺編譯 arm 平臺的可執行程序呢？這是由於目標平臺存儲空間和計算能力一般是有限的，而編譯過程須要較大的存儲空間和較快的計算能力，但目標平臺沒法提供。

項目中使用NDK

這裏能夠查看一篇官方文檔,中文,寫的很詳細:向您的項目添加C和C++ 代碼,強烈建議認真閱讀下這部分文檔

CMake

NDK的構建有兩種方式,一種是早期使用的ndk-build,一種是在Android Studio2.2以後推薦使用的cmake,咱們今天只說推薦的cmake這種方式.

CMakeLists.txt的寫法

  • add_library 使用指定的源文件將庫添加到項目中

    1. 普通庫

      // 添加普通庫的語法
add_library(<name> [STATIC | SHARED | MODULE]
    [EXCLUDE_FROM_ALL]
    [source1] [source2 ...])

// 建立ndk項目中默認生成的例子
add_library( # Sets the name of the library.
     native-lib

     # Sets the library as a shared library.
     SHARED

     # Provides a relative path to your source file(s).
     src/main/cpp/native-lib.cpp )
複製代碼

      name屬性沒什麼好說的,注意全局惟一就好.

      [STATIC | SHARED | MODULE]的話是生成的庫的類型,STATIC的話生成的是靜態庫,也就是.a後綴的.咱們通常用的都是SHARED生成動態連接庫,也就是.so後綴的.

    2. 導入庫

      // 語法
add_library(<name> <SHARED|STATIC|MODULE|OBJECT|UNKNOWN> IMPORTED
    [GLOBAL])
    
// 導入編譯好的ffmpeg樣例    
add_library( ffmpeg
     SHARED
     IMPORTED )
     
// 設置須要導入的ffmpeg位置
set_target_properties( ffmpeg
               PROPERTIES IMPORTED_LOCATION
               ../../../../libs/armeabi-v7a/libffmpeg.so )    
複製代碼

      這種方式能夠把咱們在外部編譯好的.so庫導進來

      還有幾種我也沒用過了,能夠參考官方文檔看下add_library

  • include_directories 用來導入相關頭文件

    include_directories(src/main/cpp)
複製代碼

  • find_library 用來引入NDK中提供的庫. Android NDK 原生 API

    find_library(
          # 定義存儲NDK庫位置的路徑變量的名稱。
          log-lib
          
          # 指定CMake要查找的NDK庫的名稱。
          log )
複製代碼

  • target_link_libraries 將導入的庫和本身的原生庫關聯起來

    target_link_libraries( 
                   # 指定目標庫。
                   native-lib
                   
                   # 將目標庫連接到NDK中包含的日誌庫。
                   ${log-lib} )
複製代碼

FFmpeg

FFmpeg是一套能夠用來記錄、處理數字音頻、視頻，並將其轉換爲流的開源框架，採用LPL或GPL許可證，提供了錄製、轉換以及流化音視頻的完整解決方案。名稱中的mpeg來自視頻編碼標準mpeg,而前綴FF是Fast Forward的首字母縮寫.音視頻處理的開源庫,能夠完成絕大多數音視頻相關的功能.不少知名軟件,開源庫都是基於它進行的二次開發,好比bilibi的ijkPlayer.

GitHub連接

編譯FFmpeg

FFmpeg與大部分GNU軟件的編譯方式相似,都是經過configure腳原本實現編譯前的定製,這種方式容許用戶在編譯前對軟件進行裁剪,同時經過對最終運行到的系統及目標平臺的配置來決定對某些模塊設定合適的配置.因此這裏是經過configure的方式來生成Makefile文件,而後使用make和make install編譯和安裝.

  1. 配置環境

    首先咱們須要先準備相關的編譯環境,這裏推薦在linux下進行編譯,配置簡單問題少.固然Mac也行,不推薦Windows.

    1. Linux環境(Ubuntu 16.04) Windows的話下載個VMware Workstation,裝個ubuntu仍是方便的.
    2. NDK環境 這裏使用的是ndk-r17,附上相關下載連接NDK 下載
    3. 下載FFmpeg源碼 FFmpeg下載地址

  2. 修改configure文件

    因爲FFmpeg默認生成的庫文件格式爲libavcodec.so.xx.xx.x。其中的xx就是主副版本號，這種格式在Ubuntu下使用是沒有問題的，可是在Android下開發使用，並不把其做爲有效的庫文件。因此須要修改其餘生成的文件名的格式。

    經過修改configure文件要實現，打開configure，找到以下內容：

    SLIBNAME_WITH_MAJOR='$(SLIBNAME).$(LIBMAJOR)'  
LIB_INSTALL_EXTRA_CMD='$$(RANLIB)"$(LIBDIR)/$(LIBNAME)"'  
SLIB_INSTALL_NAME='$(SLIBNAME_WITH_VERSION)'  
SLIB_INSTALL_LINKS='$(SLIBNAME_WITH_MAJOR)$(SLIBNAME)'
複製代碼

    修改成:

    SLIBNAME_WITH_MAJOR='$(SLIBPREF)$(FULLNAME)-$(LIBMAJOR)$(SLIBSUF)'
LIB_INSTALL_EXTRA_CMD='$$(RANLIB)"$(LIBDIR)/$(LIBNAME)"'
SLIB_INSTALL_NAME='$(SLIBNAME_WITH_MAJOR)'
SLIB_INSTALL_LINKS='$(SLIBNAME)'
複製代碼

  3. 編寫腳本文件 在FFmpeg根目錄下建立build.sh腳本文件,來更方便的配置configure.以下:

    #!/bin/bash 
# 配置NDK路徑
NDK=/home/xinyang/develop/android-ndk-r17
# 指定了交叉編譯環境,使其在編譯過程當中可以引用到 NDK 提供的原生標頭和共享庫文件
SYSROOT=$NDK/platforms/android-23/arch-arm/
TOOLCHAIN=$NDK/toolchains/arm-linux-androideabi-4.9/prebuilt/linux-x86_64
# 聲明方法
function build_one
{
./configure \
--prefix=$PREFIX \      # 設置輸出路徑
--enable-shared \       # 打開動態庫輸出
--disable-static \      # 關閉靜態庫輸出
--disable-doc \         # 關閉不須要的功能
--disable-ffmpeg \
--disable-ffplay \
--disable-ffprobe \
--disable-avdevice \
--disable-symver \
--cross-prefix=$TOOLCHAIN/bin/arm-linux-androideabi- \  # 指定交叉編譯工具鏈 
--target-os=linux \     # 目標系統 android基於linux 因此這裏指定爲linux
--arch=armeabi-v7a \    # 目標平臺架構
--enable-cross-compile \# 開啓交叉編譯
--sysroot=$SYSROOT \    # 交叉編譯環境
--extra-cflags="-Os -fpic $ADDI_CFLAGS" \
--extra-ldflags="$ADDI_LDFLAGS" \
$ADDITIONAL_CONFIGURE_FLAG
make clean
make
make install
}
CPU=armeabi-v7a
PREFIX=$(pwd)/android/$CPU
ADDI_CFLAGS="-marm"
build_one
複製代碼

    --cross-prefix

    相似於通配符方式指定 bin 目錄下以 arm-linux-androideabi- 開頭的交叉編譯工具，假如不支持這種配置方式則需分別指定:

    • CC:$TOOLCHAIN/bin/arm-linux-androideabi-gcc 編譯器,對C源文件進行編譯處理,生成彙編文件.
    • CXX:$TOOLCHAIN/bin/arm-linux-androideabi-g++
    • AR:$TOOLCHAIN/bin/arm-linux-androideabi-ar 打包器,用於庫操做,能夠經過該工具從一個庫中刪除或者增長目標代碼模塊.
    • LD:$TOOLCHAIN/bin/arm-linux-androideabi-ld 連接器,爲前面生成的目標代碼分配地址空間,將多個目標文件連接成一個庫或是可執行文件.

  4. 執行腳本 cd 到ffmpeg目錄下

    chmod 777 build.sh
複製代碼

    首先修改下腳本文件的可執行權限

    ./build.sh
複製代碼

    而後執行腳本,整個過程比較慢,耐心等待就好,整個過程大概須要5-10分鐘.編譯完成後就能夠看到以下圖,其中include中是一些頭文件,lib中就是生成的.so動態庫了

集成FFmpeg

到這裏就能夠把生成的.so文件集成到咱們的項目中了,來看看步驟:

  1. 項目關聯NDK,按這裏的教程執行向您的項目添加C和C++ 代碼;

  2. 拷貝生成的.so文件到libs目錄下(或是jniLibs);

  3. 拷貝生成的include文件夾到cpp目錄;

  4. 拷貝ffmpeg\fftools目錄下文件到cpp目錄;

  5. 編寫native方法

    package com.xinyang.ndkdemo;

public class FFmpegCmd {


static {
    System.loadLibrary("ffmpeg");
}



public native static void handle();

}
複製代碼

  6. 在cpp目錄下建立ffmpeg_cmd.c文件,實現native方法,這裏能夠採用javah生成頭文件再實現的方式,也能夠直接在java類中使用快捷鍵提示,直接生成方法:

    #include <jni.h>
#include <malloc.h>
#include <string.h>
#include <android/log.h>
#include "ffmpeg/ffmpeg.h"

JNIEXPORT void  JNICALL Java_com_xinyang_ndkdemo_FFmpegCmd_handle
(JNIEnv *env, jclass obj){
    char info[40000] = {0};
    av_register_all();
    AVCodec *c_temp = av_codec_next(NULL);
    while(c_temp != NULL){
        if(c_temp->decode!=NULL){
            sprintf(info,"%s[Dec]",info);
        }else{
            sprintf(info,"%s[Enc]",info);
        }
        switch(c_temp->type){
            case AVMEDIA_TYPE_VIDEO:
                sprintf(info,"%s[Video]",info);
                break;
            case AVMEDIA_TYPE_AUDIO:
                sprintf(info,"%s[Audio]",info);
                break;
            default:
                sprintf(info,"%s[Other]",info);
                break;
        }
        sprintf(info,"%s[%10s]\n",info,c_temp->name);
        c_temp=c_temp->next;
    }
    __android_log_print(ANDROID_LOG_INFO,"myTag","info:\n%s",info);
}
複製代碼

    這段程序用於輸出 FFmpeg 支持的編解碼信息，經過 < android/log.h > 的 __android_log_print 方法能夠直接將信息輸出到 Android Studio 的 logcat 。

  7. 編輯CMakeLists.txt導入相關.so文件,使用add_library導入庫的方式把生成的.so文件依次導入,使用include_directories導入頭文件,最後再用target_link_libraries把導入的庫和生成的目標庫關聯起來,以下所示:

    # For more information about using CMake with Android Studio, read the
# documentation: https://d.android.com/studio/projects/add-native-code.html

# Sets the minimum version of CMake required to build the native library.

cmake_minimum_required(VERSION 3.4.1)

# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds them for you.
# Gradle automatically packages shared libraries with your APK.

add_library( # Sets the name of the library.
         ffmpeg

         # Sets the library as a shared library.
         SHARED

         # Provides a relative path to your source file(s).
         src/main/cpp/ffmpeg_cmd.c
         src/main/cpp/ffmpeg/cmdutils.c
         src/main/cpp/ffmpeg/ffmpeg.c
         src/main/cpp/ffmpeg/ffmpeg_filter.c
         src/main/cpp/ffmpeg/ffmpeg_opt.c
          )
include_directories(src/main/cpp)
include_directories(src/main/cpp/include)

add_library(
    avutil-55
    SHARED
    IMPORTED
)
set_target_properties( avutil-55
           PROPERTIES IMPORTED_LOCATION
           ../../../../libs/armeabi-v7a/libavutil-55.so )

add_library(
    avcodec-57
    SHARED
    IMPORTED
)
set_target_properties( avcodec-57
           PROPERTIES IMPORTED_LOCATION
           ../../../../libs/armeabi-v7a/libavcodec-57.so )

add_library(
    avformat-57
    SHARED
    IMPORTED
)
set_target_properties( avformat-57
           PROPERTIES IMPORTED_LOCATION
           ../../../../libs/armeabi-v7a/libavformat-57.so )

add_library(
    avdevice-57
    SHARED
    IMPORTED
)
set_target_properties( avdevice-57
           PROPERTIES IMPORTED_LOCATION
           ../../../../libs/armeabi-v7a/libavdevice-57.so )

add_library(
    swresample-2
    SHARED
    IMPORTED
)
set_target_properties( swresample-2
           PROPERTIES IMPORTED_LOCATION
           ../../../../libs/armeabi-v7a/libswresample-2.so )

add_library(
    swscale-4
    SHARED
    IMPORTED
)
set_target_properties( swscale-4
           PROPERTIES IMPORTED_LOCATION
           ../../../../libs/armeabi-v7a/libswscale-4.so )

add_library(
    postproc-54
    SHARED
    IMPORTED
)
set_target_properties( postproc-54
           PROPERTIES IMPORTED_LOCATION
           ../../../../libs/armeabi-v7a/libpostproc-54.so )

add_library(
    avfilter-6
    SHARED
    IMPORTED
)
set_target_properties( avfilter-6
           PROPERTIES IMPORTED_LOCATION
           ../../../../libs/armeabi-v7a/libavfilter-6.so )

# Searches for a specified prebuilt library and stores the path as a
# variable. Because CMake includes system libraries in the search path by
# default, you only need to specify the name of the public NDK library
# you want to add. CMake verifies that the library exists before
# completing its build.

find_library( # Sets the name of the path variable.
          log-lib

          # Specifies the name of the NDK library that
          # you want CMake to locate.
          log )

# Specifies libraries CMake should link to your target library. You
# can link multiple libraries, such as libraries you define in this
# build script, prebuilt third-party libraries, or system libraries.

target_link_libraries( # Specifies the target library.
                    ffmpeg
                    avutil-55
                    avcodec-57
                    avformat-57
                    avdevice-57
                    swresample-2
                    swscale-4
                    postproc-54
                    avfilter-6

                   # Links the target library to the log library
                   # included in the NDK.
                   ${log-lib} )
複製代碼

  8. 試着調用native方法,在logcat中查看具體輸出信息,以下:

總結

總的來講使用CMake方式仍是比較簡單的,編寫CMakeLists.txt文件,在gradle中指定文件位置就好.重點在於相關庫的交叉編譯及編寫調用相關api文件的C文件,這裏就須要一些C的基礎了.

參考

Android 集成 FFmpeg (一) 基礎知識及簡單調用

向您的項目添加 C 和 C++ 代碼

xufuji456/FFmpegAndroid

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程