使用MediaCodec和RTMP作直播推流

本項目徹底開源 項目Github地址：AndroidInstantVideo 碼雲地址：AndroidInstantVideo

目前開源的項目或市面上的Android直播客戶端主要是用ffmpeg來實現推流的。本文將介紹使用Android原生的視頻編碼類MediaCodec實現直播推流。

數據流及大體原理

這裏所說的直播，就是將你的客戶端產生的視頻數據，實時發送到服務器上。服務器上的數據再實時地發送到播放客戶端上。

• 以視頻數據爲例：

獲取Camera畫面 首先是攝像頭拍攝獲得原始畫面數據，這裏原始畫面數據的格式咱們不用管，由於咱們使用的是MediaCodec，因此咱們會使用 camera.setPreviewTexture(surfaceTexture) 來利用Camera獲取到的畫面。

此處的原理可忽略，大體說明的話，就是Camera會把得到的畫面保存爲OpenGL的一個紋理，咱們使用這個紋理就能使用Camera的畫面。

繪製畫面 在得到畫面以後，咱們要把這個畫面（紋理）「畫」到MediaCodec上。

如何畫？ MediaCodec提供一張’白紙’，也就是一個Surface，供咱們把紋理畫到上面。此處的API是 MediaCodec.createInputSurface()

怎麼畫？用Canvas畫。固然不是通常的Canvas，我用了這個開源項目android-openGL-canvas。

H264數據 畫上去後，MediaCodec就會幫咱們把原始畫面數據，壓縮成相應的視頻數據，目前我這裏是壓縮成H264數據。 所謂的H264數據，其實只是一堆堆的byte[]數組。在項目的例子，我把H264數據寫成了文件，能夠用某些播放器播放（例如PotPlayer）。

RTMP 我使用了一個開源項目，能夠將視頻數據封成RTMP包，發送到服務器上。 LibRtmp-Client-for-Android

總結 數據流能夠這樣看 Camera -> SurfaceTexture -> Surface -> MediaCodec -> encode data(byte[]) -> RTMPMuxer -> Server

• 音頻數據：

相對簡單一些，就是從AudioRecord裏獲取原始音頻數據（byte[])，編碼成AAC數據（也是byte[])，而後給RTMPMuxer，封裝成RTMP包，發到服務器

麥克風MIC -> AudioRecord -> voice data(就是byte[]) -> MediaCodec -> encode data(就是byte[]) -> RTMPMuxer -> Server

• Muxer

前面有提到有視頻的RTMP包和音頻的RTMP包，分別是將單元H264和單元AAC封裝成RTMP包，發到服務器。這些包之間有什麼規律？ 這些包之間是按時間順序排列的，MediaCodec返回編碼數據時，會返回編碼數據的時間戳。但注意編碼成RTMP包時，取的是相對時間戳，也就是說取到時間戳時，須要計算與上一個包的時間戳的差值，寫到RTMP包裏。

另外RTMP流本質上是FLV格式的音視頻，這裏也提供了寫成FLV文件的功能。

效果圖

PC播放端

Android推流端

視頻幀圖像處理

前面提到視頻幀的圖像處理，實際上也是利用了android-openGL-canvas。

關鍵代碼以下：

...
    streamPublisher.prepareEncoder(streamPublisherParam, new H264Encoder.OnDrawListener() {
        @Override
        public void onGLDraw(ICanvasGL canvasGL, SurfaceTexture surfaceTexture, RawTexture rawTexture, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) {
            drawVideoFrame(canvasGL, outsideSurfaceTexture, outsideTexture);

            Loggers.i("DEBUG", "gl draw");
        }
    });
    ...

    private void drawVideoFrame(ICanvasGL canvasGL, @Nullable SurfaceTexture outsideSurfaceTexture, @Nullable BasicTexture outsideTexture) {
        // Here you can do video process
        // 此處能夠視頻處理，例如加水印等等
        TextureFilter textureFilterLT = new BasicTextureFilter();
        TextureFilter textureFilterRT = new HueFilter(180);
        int width = outsideTexture.getWidth();
        int height = outsideTexture.getHeight();
        canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, 0, width /2, height /2, textureFilterLT);
        canvasGL.drawSurfaceTexture(outsideTexture, outsideSurfaceTexture, 0, height/2, width/2, height, textureFilterRT);

    }
    ...

如上所示，可使用各類Filter實現對視頻幀圖像的處理。總而言之，能夠像Canvas那樣在視頻幀上繪製各類東西。固然要在圖上畫文字就只能用bitmap代替了。

碼率bit/s

在使用MediaCodec時，須要設置碼率。這個碼率是根據視頻分辨率，色彩格式算出來的。

public H264Encoder(int width, int height, int bitRate, int frameRate, int iframeInterval, final EglContextWrapper eglCtx) throws IOException

其中bitRate就是碼率，單位bit/s

一些計算方法能夠參考此文： What bitrate should I use when encoding my video? Output size Bitrate Filesize 320x240 pixels 400 kbps 3MB / minute 480x270 pixels 700 kbps 5MB / minute 1024 x 576 pixels 1500 kbps 11MB / minute 1280x720 pixels 2500 kbps 19MB / minute 1920x1080 pixels 4000 kbps 30MB / minute

此方法大部分狀況下夠用，可是對於複雜視頻處理還欠缺。 例如 對比下圖的無處理效果（一張紋理）

對於下圖這樣處理效果（2個畫面用的是與上圖一樣大小的紋理，雖然我設置顯示的尺寸不同），碼率是上圖的2倍左右。

測試服務器

須要測試的話，請自行搭建RTMP服務器。我用的是本身搭建的Nginx服務器，用的Module是nginx-rtmp-module。搭建服務器不須要寫代碼，根據教程敲幾行命令就行。 能夠用開源直播軟件OBS對比播放效果。 播放器用各類都行，VLC，PotPlayer，ffplay均可以。 我用的是ffplay，注意，由於只是簡單的服務器，因此要先開播放器鏈接後再開始啓動推流。 我使用的命令是 .\ffplay.exe "rtmp://localhost:19305/live/room live=1"

另外可使用一下軟件查看生成的文件的詳情。

看H264文件 H.264視頻碼流解析--雷霄驊

看aac文件 AAC音頻碼流解析--雷霄驊

看flv文件 FLV封裝格式解析--雷霄驊

感謝雷神。

聲明

本項目徹底開源，項目Github地址：AndroidInstantVideo 本項目爲我的開源項目，目前只作過簡單的測試，若是要使用的話，請自行多測試，有問題能夠到個人Github項目地址提出。

最後

您的打賞是對做者的最大支持！！固然在Github上點個Star也是很大的支持哈哈。