FFmpeg - Android 視頻播放器

時間  2019-11-06
標籤 ffmpeg android 視頻 播放 欄目 Android 简体版
原文   原文鏈接

本文的內容是基於 《FFmpeg - 打造一款萬能的音樂播放器》 來實現的，源碼的地址在我我的的 github 上。我打算再新建一個 VideoPlayer 項目用來實現視頻播放，所以本文的流程大體以下： 整合音樂播放器項目，對項目架構進行調整，視頻解碼播放，音視頻同步，陸續完善封裝 SDK 。android

1. 整合音樂播放器項目

爲了方便你們學習，咱們先保留音樂播放器項目，而後把音樂播放器的代碼複製過來，在這基礎上再建一個新的項目 VideoPlayer。在實際開發的過程當中能夠不用新建兩個項目，根據具體的業務邏輯來取捨就好。不過仍是想提醒一下你們，若是項目中只有音頻相關的業務邏輯，最好去裁剪一下 so 庫。咱們也能夠把解碼器作成動態加載，固然這屬於優化的內容了，後面咱們也會講講關於 so 動態加載與動態修復相關的內容。關於音頻播放器未實現的功能，咱們統一到後面再一塊兒來完善，你們能夠先把最終效果代碼拿去，本身先研究研究。git

2. 對項目架構進行調整

咱們如今想加上視頻的功能，那麼對於視頻和音頻解碼的部分，就會有不少冗餘的代碼，咱們勢必須要進行抽離複用。所以咱們打算新建一個 DZMedia.cpp 抽象類，把原來音頻解碼的線程提取到 DZFFmpeg.cpp 中來。以前所學的設計模式，也要開始用上來了。github

/**
 * 基類，公共內容
 */
class DZMedia {
public:
    /**
     * 當前流的角標（音頻/視頻/字幕）
     */
    int streamIndex;
    /**
     * 解碼器上下文
     */
    AVCodecContext *pCodecContext = NULL;
    /**
     * 回調 Java 層的 Call
     */
    JNIPlayerCall *pPlayerCall = NULL;
    /**
     * 播放狀態
     */
    DZPlayStatus *pPlayStatus = NULL;
    /**
     * AVPacket 隊列
     */
    AVPacketQueue *pPacketQueue = NULL;
    /**
     * 整個視頻的時長
     */
    int duration = 0;
    /**
     * 當前播放的時長
     */
    double currentTime = 0;
public:
    DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall);

    ~DZMedia();

public:
    /**
     * 播放方法，純虛函數
     */
    virtual void play() = 0;

    /**
     * 解析公共的解碼器上下文
     */
    virtual void analysisStream(ThreadType threadType, AVFormatContext *pFormatContext);

    /**
     * 準備解析數據過程當中出錯的回調
     * @param threadType 線程類型
     * @param errorCode 錯誤碼
     * @param errorMsg 錯誤信息
     */
    void callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg);

    /**
     * 釋放資源
     */
    void release();
};

DZMedia::DZMedia(int streamIndex, DZPlayStatus *pPlayStatus, JNIPlayerCall *pPlayerCall) {
    this->streamIndex = streamIndex;
    this->pPlayStatus = pPlayStatus;
    this->pPlayerCall = pPlayerCall;
    pPacketQueue = new AVPacketQueue(pPlayStatus);
}

DZMedia::~DZMedia() {
    release();
}

void DZMedia::analysisStream(ThreadType threadType, AVFormatContext *pFormatContext) {
    AVCodecParameters *pCodecParameters = pFormatContext->streams[streamIndex]->codecpar;
    AVCodec *pCodec = avcodec_find_decoder(pCodecParameters->codec_id);
    if (!pCodec) {
        LOGE("Can't find audio decoder");
        callPlayerJniError(threadType, FIND_AUDIO_DECODER_ERROR_CODE,
                "Can't find audio decoder.");
        return;
    }

    pCodecContext = avcodec_alloc_context3(pCodec);
    int codecContextParametersRes = avcodec_parameters_to_context(pCodecContext, pCodecParameters);
    if (codecContextParametersRes < 0) {
        LOGE("codec parameters to_context error :%s", av_err2str(codecContextParametersRes));
        callPlayerJniError(threadType, codecContextParametersRes,
                av_err2str(codecContextParametersRes));
        return;
    }

    int codecOpenRes = avcodec_open2(pCodecContext, pCodec, NULL);
    if (codecOpenRes < 0) {
        LOGE("codec open error : %s", av_err2str(codecOpenRes));
        callPlayerJniError(threadType, codecOpenRes, av_err2str(codecOpenRes));
        return;
    }

    duration = pFormatContext->duration / AV_TIME_BASE;
}


void DZMedia::callPlayerJniError(ThreadType threadType, int errorCode, const char *errorMsg) {
    release();
    if (pPlayerCall != NULL) {
        pPlayerCall->onCallError(threadType, errorCode, errorMsg);
    }
}

void DZMedia::release() {
    if (pCodecContext != NULL) {
        avcodec_close(pCodecContext);
        avcodec_free_context(&pCodecContext);
        pCodecContext = NULL;
    }

    if (pPacketQueue != NULL) {
        delete (pPacketQueue);
        pPacketQueue = NULL;
    }
}
複製代碼

3. 視頻解碼播放

視頻的解碼與音頻的解碼流程大體一致，但須要考慮可否硬解碼，關鍵就是用什麼方式渲染的問題了。目前有兩種比較主流的方式，一種就是用純原聲 SurfaceView ，一種是用 GLSurfaceView 渲染。若是用 GLSurfaceView 去渲染，咱們勢必須要了解學習 OpenGLES ，這須要必定的學習成本。咱們先繞過去直接採用 SurfaceView 來繪製。對 OpenGL 感興趣的同窗能夠先看下 google 官方的例子 gles3jni ，後面我也會分享關於 OpenGL 的一些知識，你們不妨先去了解幾個問題：web

  • OpenGL 是什麼？
  • OpenGL 能夠用來幹什麼？
  • OpenGL 與 OpenGLES 有什麼關係？
  • 爲何要用 OpenGL 有哪些好處？
  • 應該如何學 OpenGL 有哪些難處？
//--------------- 硬解碼相關 start ---------------
  private static final Map<String, String> mCodecMap = new HashMap<>(2);

  static {
    /**
     "video/x-vnd.on2.vp8" - VP8 video (i.e. video in .webm)
     "video/x-vnd.on2.vp9" - VP9 video (i.e. video in .webm)
     "video/avc" - H.264/AVC video
     "video/hevc" - H.265/HEVC video
     "video/mp4v-es" - MPEG4 video
     "video/3gpp" - H.263 video
     "audio/3gpp" - AMR narrowband audio
     "audio/amr-wb" - AMR wideband audio
     "audio/mpeg" - MPEG1/2 audio layer III
     "audio/mp4a-latm" - AAC audio (note, this is raw AAC packets, not packaged in LATM!)
     "audio/vorbis" - vorbis audio
     "audio/g711-alaw" - G.711 alaw audio
     "audio/g711-mlaw" - G.711 ulaw audio
    */
    mCodecMap.put("h264", "video/avc");
    mCodecMap.put("h265", "video/hevc");
  }

  private static final String findMediaCodecName(String codeName) {
    if (mCodecMap.containsKey(codeName)) {
      return mCodecMap.get(codeName);
    }
    return "";
  }

  /**
  * 是否支持硬解碼，Call from jni
  *
  * @param codeName ffmpeg 的解碼器名字
  * @return 是否支持硬解碼
  */
  private final boolean isSupportStiffCodec(String codeName) {
    int codecCount = MediaCodecList.getCodecCount();
    for (int i = 0; i < codecCount; i++) {
        String[] supportedTypes = MediaCodecList.getCodecInfoAt(i).getSupportedTypes();
        for (String type : supportedTypes) {
            if (type.equals(findMediaCodecName(codeName))) {
                return true;
            }
        }
    }
    return false;
  }
  //--------------- 硬解碼相關  end  ---------------

  //獲取 nativeWindow 窗體
  ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);
  //設置緩衝區的屬性（寬、高、像素格式）
  ANativeWindow_setBuffersGeometry(nativeWindow, pCodecContext->width, pCodecContext->height, WINDOW_FORMAT_RGBA_8888);
  //繪製時的緩衝區
  ANativeWindow_Buffer window_buffer;
  // lock
  ANativeWindow_lock(nativeWindow, &window_buffer, NULL);
  // 轉換成 rgba
  sws_scale(pSwsContext, pFrame->data, pFrame->linesize, 0, pFrame->height, rgbaFrame->data, rgbaFrame->linesize);
  // 把數據拷貝到 window_buffer 中
  memcpy(window_buffer.bits, buffer, pCodecContext->width * pCodecContext->height * 4);
  //unlock
  ANativeWindow_unlockAndPost(nativeWindow);
複製代碼

4. 音視頻的同步

關於音視頻的同步問題，我在網上查了一些資料，實現方案須要大量的變量和複雜的邏輯，我的推薦你們去看下 ffmpeg 的源碼，看看官方是怎麼作音視頻同步的。這裏我給出一套我的的解決方案，獲取音視頻的 pts 差值，根據差值來設置視頻的睡眠時間，若是視頻快了就休眠久點，視頻慢了就休眠短點，達到視頻和音頻的相對同步。這裏有兩個概念： pts：顯示時間戳，用來告訴播放器該在何時顯示這一幀數據。 time_base：時間度量單位（時間基）。設計模式

/**
 * 獲取當前視頻幀應該休眠的時間
 * @param pFrame 當前視頻幀
 * @return 睡眠時間
 */
double DZVideo::getFrameSleepTime(AVFrame *pFrame) {
    // 若是 < 0 那麼仍是用以前的時間
    double times = pFrame->pts * av_q2d(timeBase);
    if (times > currentTime) {
        currentTime = times;
    }
    // 音頻和視頻之間的差值
    double diffTime = pAudio->currentTime - currentTime;

    // 第一次控制，0.016s ～ -0.016s
    if (diffTime > 0.016 || diffTime < -0.016) {
        if (diffTime > 0.016) {
            delayTime = delayTime * 2 / 3;
        } else if (diffTime < -0.016) {
            delayTime = delayTime * 3 / 2;
        }

        // 第二次控制，defaultDelayTime * 2 / 3 ～ defaultDelayTime * 3 / 2
        if (delayTime < defaultDelayTime / 2) {
            delayTime = defaultDelayTime * 2 / 3;
        } else if (delayTime > defaultDelayTime * 2) {
            delayTime = defaultDelayTime * 3 / 2;
        }
    }

    // 第三次控制，0～defaultDelayTime * 2
    if (diffTime >= 0.25) {
        delayTime = 0;
    } else if (diffTime <= -0.25) {
        delayTime = defaultDelayTime * 2;
    }

    // 假設1秒鐘25幀，不出意外狀況，delayTime 是 0.02 , 0.04 , 0.06
    return delayTime;
}
複製代碼

這種同步的方式雖然說是簡單了點，但我測試過不少視頻都是沒有問題的，你們也能夠多測試一下，反正同步的思想都差很少，參數咱們能夠具體調整。bash

視頻地址：pan.baidu.com/s/1-RccXB0J… 視頻密碼：9wp2架構

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程