新手學習FFmpeg - 調用API編寫實現屢次淡入淡出效果的濾鏡

時間 2019-11-10

標籤新手學習 ffmpeg 調用 api 編寫實現屢次淡入淡出效果简体版

原文原文鏈接

前面幾篇文章聊了聊FFmpeg的基礎知識，我也是接觸FFmpeg不久，除了時間處理以外，不少高深(濾鏡)操做都沒接觸到。在學習時間處理的時候，都是經過在ffmpeg目前提供的avfilter基礎上面修修補補(補充各類debug log)來驗證想法。而此次我將嘗試新建立一個avfilter，來實現一個新濾鏡。完整的代碼可參考 https://andy-zhangtao.github.io/ffmpeg-examples/git

由於我是新手，因此本着先易後難的原則(實際上是不會其它高深API的操做)，從fade濾鏡入手來仿製一個new fade(就起名叫作ifade)。github

目標

fade是一個淡入淡出的濾鏡，能夠經過參數設置fade type(in表示淡入, out表示淡出)，在視頻的頭部和尾部添加淡入淡出效果。在使用過程當中，fade有一些使用限制。shell

淡入只能從片頭開始設置(00:00:00.0位置起)
淡出只能從片尾開始設置
一次只能設置一個類型

若是想在一個視頻中間設置屢次淡入淡出效果，那麼只能先分割視頻，分別應該fade以後在合併(可能還有其它方式，可我沒找到)。若是想一次實現多個fade效果，那麼就要經過-filter-complex來組合多個fade，併合理安排調用順序，稍顯麻煩。學習

此次，ifade就嘗試支持在同一個視頻中實現屢次fade效果。ifade計劃完成的目標是:ui

一次支持設置一個類型(淡入/淡出)
一次支持設置多個fade時間點
支持fade時長

分析

先看看原版fade是如何實現的。this

1  static int filter_frame(AVFilterLink *inlink, AVFrame *frame)
     2  {
     3      AVFilterContext *ctx = inlink->dst;
     4      FadeContext *s       = ctx->priv;
     5      double frame_timestamp = frame->pts == AV_NOPTS_VALUE ? -1 : frame->pts * av_q2d(inlink->time_base);
     6
     7      // Calculate Fade assuming this is a Fade In
     8      if (s->fade_state == VF_FADE_WAITING) {
     9          s->factor=0;
    10          if (frame_timestamp >= s->start_time/(double)AV_TIME_BASE
    11              && inlink->frame_count_out >= s->start_frame) {
    12              // Time to start fading
    13              s->fade_state = VF_FADE_FADING;
    14
    15              // Save start time in case we are starting based on frames and fading based on time
    16              if (s->start_time == 0 && s->start_frame != 0) {
    17                  s->start_time = frame_timestamp*(double)AV_TIME_BASE;
    18              }
    19
    20              // Save start frame in case we are starting based on time and fading based on frames
    21              if (s->start_time != 0 && s->start_frame == 0) {
    22                  s->start_frame = inlink->frame_count_out;
    23              }
    24          }
    25      }
    26      if (s->fade_state == VF_FADE_FADING) {
    27          if (s->duration == 0) {
    28              // Fading based on frame count
    29              s->factor = (inlink->frame_count_out - s->start_frame) * s->fade_per_frame;
    30              if (inlink->frame_count_out > s->start_frame + s->nb_frames) {
    31                  s->fade_state = VF_FADE_DONE;
    32              }
    33
    34          } else {
    35              // Fading based on duration
    36              s->factor = (frame_timestamp - s->start_time/(double)AV_TIME_BASE)
    37                              * (float) UINT16_MAX / (s->duration/(double)AV_TIME_BASE);
    38              if (frame_timestamp > s->start_time/(double)AV_TIME_BASE
    39                                    + s->duration/(double)AV_TIME_BASE) {
    40                  s->fade_state = VF_FADE_DONE;
    41              }
    42          }
    43      }
    44      if (s->fade_state == VF_FADE_DONE) {
    45          s->factor=UINT16_MAX;
    46      }
    47
    48      s->factor = av_clip_uint16(s->factor);
    49
    50      // Invert fade_factor if Fading Out
    51      if (s->type == FADE_OUT) {
    52          s->factor=UINT16_MAX-s->factor;
    53      }
    54
    55      if (s->factor < UINT16_MAX) {
    56          if (s->alpha) {
    57              ctx->internal->execute(ctx, filter_slice_alpha, frame, NULL,
    58                                  FFMIN(frame->height, ff_filter_get_nb_threads(ctx)));
    59          } else if (s->is_packed_rgb && !s->black_fade) {
    60              ctx->internal->execute(ctx, filter_slice_rgb, frame, NULL,
    61                                     FFMIN(frame->height, ff_filter_get_nb_threads(ctx)));
    62          } else {
    63              /* luma, or rgb plane in case of black */
    64              ctx->internal->execute(ctx, filter_slice_luma, frame, NULL,
    65                                  FFMIN(frame->height, ff_filter_get_nb_threads(ctx)));
    66
    67              if (frame->data[1] && frame->data[2]) {
    68                  /* chroma planes */
    69                  ctx->internal->execute(ctx, filter_slice_chroma, frame, NULL,
    70                                      FFMIN(frame->height, ff_filter_get_nb_threads(ctx)));
    71              }
    72          }
    73      }
    74
    75      return ff_filter_frame(inlink->dst->outputs[0], frame);
    76  }

不想貼代碼，但發現不貼代碼好像很難表述清楚。-_-！debug

fade在處理fame時最關鍵的是三種狀態和一個變量因子。code

三種狀態:視頻

VF_FADE_WAITING 待渲染, 初始狀態
VF_FADE_FADING 渲染中
VF_FADE_DO 渲染結束

變量因子:ip

factor 控制效果強度

假設如今設置的是淡入效果(若是是淡出效果，52行會實現一個反轉)): s->fade_state初始化狀態是VF_FADE_WAITING，濾鏡工做時就會進入第八行的判斷，此時將s->factor設置爲0。若是咱們假設淡入的背景顏色是黑色(默認色)，當s->factor==0時，渲染強度最大，此時渲染出的就是一個純黑的畫面。

第八行的if判斷是一個全局初始化，一旦進入以後，s->fade_status就會被修改成VF_FADE_FADING狀態。

而26到43行的判斷，是爲了找到渲染結束時間點。經過不停的判斷每幀的frame_timestamp和start_time+duration之間的關係(經過start_frame同理)，來決定是否結束渲染。start_time是由fade st=xxx來設定的，當到達結束時間點後，將s->fade_status變動爲VF_FADE_DO，便可結束渲染(實際上是將s->factor置爲UINT16-MAX，這樣就不會進入到第55行的渲染邏輯)。

fade大體的處理流程以下:

+------------------------------------------------------------------------------------------------------------- +
     |                                                                                                              |
     |       |----------------------------------------------------------|------------------|-------------------->   |
     |time   0                                                          st             st+duration                  |
     |                                                                                                              |
     |status VF_FADE_WAITING                                                                                        |
     |                               VF_FADE_FADING                                                                 |
     |                                                              VF_FADE_DO                                      |
     |factor 0       0        0         0              0        0       100  500 4000 ...  65535  65535  65535 65535|
     |                                                                                                              |
     +--------------------------------------------------------------------------------------------------------------+

在0->st這段時間內，status一直是VF_FADE_FADING狀態，factor是0。這段時間內渲染出來的全是黑色。到達st點後，開始逐步調整factor的值(不能一次性的調整到UINT16-MAX，要不就沒有逐漸明亮的效果了)，直到st+duration這個時間後，在將factor調整爲UINT16-MAX。之後流經fade的幀就原樣流轉到ff_filter_frame了。

改造

分析完fade的處理邏輯以後，若是要實現ifade的效果，那麼應該是下面的流程圖：

+------------------------------------------------------------------------------------------------------------------+
     |                                     A                  B                C                  D                     |
     |       |-----------------------------|------------------|----------------|------------------|-------------------->|
     |time   0                            st1               st2-duration      st2            st2+duration               |
     |                                                                                                                  |
     |status    VF_FADE_FADING                                                                                          |
     |                                VF_FADE_DO                                                                        |
     |                                                                                                                  |
     |                                                  VF_FADE_FADING                                                  |
     |                                                                                          VF_FADE_DO              |
     |factor 0       0        0           65535     65535    0  0 0  0 0 0 0 0 100  500 4000 ... 65535                  |
     |                                                                                                                  |
     +------------------------------------------------------------------------------------------------------------------+

從0-A點仍然是fade原始邏輯。到達A點以後，將s->fade_status改完VF_FADE_DO表示關閉渲染。當到達B點時(距離st2還有duration的時間點)，開始將s->factor調整爲0. 這是爲了模擬出畫面從暗到亮的效果。同時s->fade_status再次置爲VF_FADE_FADING狀態，到達C點是開始從新計算s->factor的值，將畫面逐漸變亮。

能夠看出ifade就是利用s->fade_status重複利用現有的處理邏輯來實現屢次淡入的效果。

實現

上面分析完以後，就能夠動手寫代碼了。具體代碼就不貼出來了，能夠直接看源碼。下面就說幾個在ffmpeg 4.x中須要注意的地方：

添加新avfilter
- 在libavfilter/Makefile中添加新filter名稱。 OBJS-$(CONFIG_IFADE_FILTER) += vf_ifade.o
- 在libavfilter/allfilter.c中添加新filter. extern AVFilter ff_vf_ifade
從新生成makefile
- 從新根據實際狀況執行configure，生成最新的makefile腳本