iOS解碼關於視頻中帶B幀排序問題

需求

在解碼帶B幀的視頻編碼碼流中,因爲B幀的存在,致使parse出來的數據時間戳自己不是連續的,由於B幀須要可能須要參考後面的幀.所以,解碼完成後須要對碼流解碼作一個重排序

---

實現原理

首先分析parse出來的數據的時間戳,後面得出的結論是除了第一幀時間戳爲0,整體時間戳是增加的,後面每4幀爲一組,每組中的順序須要從新排序,排序後便可實現時間戳連續遞增.

考慮內存開銷,咱們每次緩存4幀視頻數據,將其放入線性表中,而後使用排序算法對這4幀數據根據pts作一個排序,排好序後便可傳給渲染模塊將其渲染到屏幕上.

注意: 使用FFmpeg硬解無需關心排序問題,由於FFmpeg內部有緩存排序機制,即從FFmepg拿到解碼後的數據可直接渲染.

---

閱讀前提

• 音視頻基礎
• iOS FFmpeg環境搭建
• FFmpeg解析視頻數據
• VideoToolbox實現視頻硬解碼
• OpenGL渲染視頻數據
• H.264,H.265碼流結構

---

代碼地址 : iOS解碼關於視頻中帶B幀排序問題

掘金地址 : iOS解碼關於視頻中帶B幀排序問題

簡書地址 : iOS解碼關於視頻中帶B幀排序問題

博客地址 : iOS解碼關於視頻中帶B幀排序問題

---

TODO

由於咱們沒法判斷碼流中的B幀是否依賴後面的視頻幀,而是 通過分析可得視頻幀的時間戳是整體增加,每組4幀,須要對4幀數據進行排序,目前暫時未知是否有非4幀一組的視頻幀,若是有則此Demo會有問題,所以若是有了解此方面大神望評論告知更好的解決方案.

整體架構

本文基於已實現解碼一個包含帶B幀的H.265碼流文件.所以,這裏不對parse,解碼,渲染作過多說明,如需瞭解參考閱讀前提中的連接.

下面是從FFmpeg parse H.265文件獲得的時間戳,咱們能夠看到,parse出來的時間戳整體是遞增的,除了第一幀時間戳爲0的數據外,剩下的時間戳均以4個一組,每組內時間戳不是遞增的,由於解碼時咱們仍需按照Parse出來的數據送去解碼,因此,咱們只能對解碼後的數據作一個排序,即將每組數據裝入一個線性表,而後使用任一一種排序算法對其排序.

+0800 XDXVideoDecoder[1489:223381] Test - 0.000000

2019-06-25 12:38:09.656282+0800 XDXVideoDecoder[1489:223381] Test - 0.133333
2019-06-25 12:38:09.659350+0800 XDXVideoDecoder[1489:223381] Test - 0.066667
2019-06-25 12:38:09.660900+0800 XDXVideoDecoder[1489:223381] Test - 0.033333
2019-06-25 12:38:09.662889+0800 XDXVideoDecoder[1489:223381] Test - 0.100000


2019-06-25 12:38:09.664786+0800 XDXVideoDecoder[1489:223381] Test - 0.266667
2019-06-25 12:38:09.666900+0800 XDXVideoDecoder[1489:223381] Test - 0.200000
2019-06-25 12:38:09.668196+0800 XDXVideoDecoder[1489:223381] Test - 0.166667
2019-06-25 12:38:09.669825+0800 XDXVideoDecoder[1489:223381] Test - 0.233333


2019-06-25 12:38:09.670368+0800 XDXVideoDecoder[1489:223381] Test - 0.400000
2019-06-25 12:38:09.670948+0800 XDXVideoDecoder[1489:223381] Test - 0.333333
2019-06-25 12:38:09.671806+0800 XDXVideoDecoder[1489:223381] Test - 0.300000
2019-06-25 12:38:09.673082+0800 XDXVideoDecoder[1489:223381] Test - 0.366667


2019-06-25 12:38:09.673899+0800 XDXVideoDecoder[1489:223381] Test - 0.533333
2019-06-25 12:38:09.674961+0800 XDXVideoDecoder[1489:223381] Test - 0.466667
2019-06-25 12:38:09.675637+0800 XDXVideoDecoder[1489:223381] Test - 0.433333
2019-06-25 12:38:09.676451+0800 XDXVideoDecoder[1489:223381] Test - 0.500000
複製代碼

快速使用

• 初始化

- (void)viewDidLoad {
    self.sortHandler = [[XDXSortFrameHandler alloc] init];
    self.sortHandler.delegate = self;
}

複製代碼

• 在解碼回調中將解碼出來數據送給排序模塊

- (void)getVideoDecodeDataCallback:(CMSampleBufferRef)sampleBuffer isFirstFrame:(BOOL)isFirstFrame {
    if (self.isH265File) {
        // Note : the first frame not need to sort.
        if (isFirstFrame) {
            [self.sortHandler cleanLinkList];
            CVPixelBufferRef pix = CMSampleBufferGetImageBuffer(sampleBuffer);
            [self.previewView displayPixelBuffer:pix];
            return;
        }
        
        [self.sortHandler addDataToLinkList:sampleBuffer];
    }else {
        CVPixelBufferRef pix = CMSampleBufferGetImageBuffer(sampleBuffer);
        [self.previewView displayPixelBuffer:pix];
    }
}
複製代碼

• 排序後經過代理方法拿到排過序的每幀數據將其渲染到屏幕

- (void)getSortedVideoNode:(CMSampleBufferRef)sampleBuffer {
    int64_t pts = (int64_t)(CMTimeGetSeconds(CMSampleBufferGetPresentationTimeStamp(sampleBuffer)) * 1000);
    static int64_t lastpts = 0;
    NSLog(@"Test marigin - %lld",pts - lastpts);
    lastpts = pts;
    
    [self.previewView displayPixelBuffer:CMSampleBufferGetImageBuffer(sampleBuffer)];
}

複製代碼

具體實現

1. 定義一個線性表用來緩存視頻幀

使用一個裝有CMSampleBufferRef指針的數據來緩存視頻幀.由於每4幀排一次序,因此長度爲4,使用索引Index記錄每一個視頻幀的位置.

const static int g_maxSize = 4;

struct XDXSortLinkList {
    CMSampleBufferRef dataArray[g_maxSize];
    int index;
};
複製代碼

2. 初始化

@interface XDXSortFrameHandler ()
{
    XDXSortLinkList _sortLinkList;
}

......

- (instancetype)init {
    if (self = [super init]) {
        XDXSortLinkList linkList = {
            .index = 0,
            .dataArray = {0},
        };
        
        _sortLinkList = linkList;
    }
    return self;
}

複製代碼

3.將視頻幀存入線性表

CMSampleBufferRef實際即爲一個指針,首先使用CFRetain函數使其引用計數+1以維持咱們使用期間視頻幀不會被銷燬,當線性表沒有裝滿前一直爲其添加視頻幀,當線性表裝滿後使用插入排序對其進行排序,排好後將數據依次以代理方法的形式傳出以供渲染模塊使用.使用完成後使用CFRelease減小原始數據的引用計數.

- (void)addDataToLinkList:(CMSampleBufferRef)sampleBufferRef {
    CFRetain(sampleBufferRef);
    _sortLinkList.dataArray[_sortLinkList.index] = sampleBufferRef;
    _sortLinkList.index++;
    
    if (_sortLinkList.index == g_maxSize) {
        _sortLinkList.index = 0;
        
        // sort
        [self selectSortWithLinkList:&_sortLinkList];
        
        for (int i = 0; i < g_maxSize; i++) {
            if ([self.delegate respondsToSelector:@selector(getSortedVideoNode:)]) {
                [self.delegate getSortedVideoNode:_sortLinkList.dataArray[i]];
                CFRelease(_sortLinkList.dataArray[i]);
                _sortLinkList.dataArray[i] = NULL;
            }
        }   
    }
}

- (void)selectSortWithLinkList:(XDXSortLinkList *)sortLinkList {
    for (int i = 0; i < g_maxSize; i++) {
        int64_t minPTS = i;
        for (int j = i + 1; j < g_maxSize; j++) {
            if ([self getPTS:sortLinkList->dataArray[j]] < [self getPTS:sortLinkList->dataArray[minPTS]]) {
                minPTS = j;
            }
        }
        
        if (i != minPTS) {
            void *tmp = sortLinkList->dataArray[i];
            sortLinkList->dataArray[i] = sortLinkList->dataArray[minPTS];
            sortLinkList->dataArray[minPTS] = tmp;
        }
    }
}
- (int64_t)getPTS:(CMSampleBufferRef)sampleBufferRef {
    int64_t pts = (int64_t)(CMTimeGetSeconds(CMSampleBufferGetPresentationTimeStamp(sampleBufferRef)) * 1000);
    return pts;
}

- (void)cleanLinkList {
    _sortLinkList.index = 0;
    for (int i = 0; i < g_maxSize; i++) {
        if (CMSampleBufferIsValid(_sortLinkList.dataArray[i])) {
            CFRelease(_sortLinkList.dataArray[i]);
        }
        _sortLinkList.dataArray[i] = NULL;
    }
}
複製代碼