直播技術簡單介紹（非原創）

時間 2019-11-19

標籤直播技術簡單介紹原創简体版

原文原文鏈接

文章大綱

1、視頻直播原理介紹
2、視頻直播代碼演示（Android）
3、項目源碼下載
4、參考文章php

1、視頻直播原理介紹

1. 視頻直播技術流程

視頻直播的流程能夠分爲以下幾步：
採集 —>處理—>編碼和封裝—>推流到服務器—>服務器流分發—>播放器流播放java

2. 採集

採集是整個視頻推流過程當中的第一個環節，它從系統的採集設備中獲取原始視頻數據，將其輸出到下一個環節。視頻的採集涉及兩方面數據的採集：音頻採集和圖像採集，它們分別對應兩種徹底不一樣的輸入源和數據格式。android

2.1 音頻採集
音頻數據既能與圖像結合組合成視頻數據，也能以純音頻的方式採集播放，後者在不少成熟的應用場景如在線電臺和語音電臺等起着很是重要的做用。音頻的採集過程主要經過設備將環境中的模擬信號採集成 PCM 編碼的原始數據，而後編碼壓縮成 MP3 等格式的數據分發出去。常見的音頻壓縮格式有：MP3，AAC，HE-AAC，Opus，FLAC，Vorbis (Ogg)，Speex 和 AMR等。
音頻採集和編碼主要面臨的挑戰在於：延時敏感、卡頓敏感、噪聲消除（Denoise）、回聲消除（AEC）、靜音檢測（VAD）和各類混音算法等。git

2.2 圖像採集
將圖像採集的圖片結果組合成一組連續播放的動畫，即構成視頻中可肉眼觀看的內容。圖像的採集過程主要由攝像頭等設備拍攝成 YUV 編碼的原始數據，而後通過編碼壓縮成 H.264 等格式的數據分發出去。常見的視頻封裝格式有：MP四、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。
圖像因爲其直觀感覺最強而且體積也比較大，構成了一個視頻內容的主要部分。圖像採集和編碼面臨的主要挑戰在於：設備兼容性差、延時敏感、卡頓敏感以及各類對圖像的處理操做如美顏和水印等。
視頻採集的採集源主要有攝像頭採集、屏幕錄製和從視頻文件推流。github

3. 處理

視頻或者音頻完成採集以後獲得原始數據，爲了加強一些現場效果或者加上一些額外的效果，咱們通常會在將其編碼壓縮前進行處理，好比打上時間戳或者公司 Logo 的水印，祛斑美顏和聲音混淆等處理。在主播和觀衆連麥場景中，主播須要和某個或者多個觀衆進行對話，並將對話結果實時分享給其餘全部觀衆，連麥的處理也有部分工做在推流端完成。算法

如上圖所示，處理環節中分爲音頻和視頻處理，音頻處理中具體包含混音、降噪和聲音特效等處理，視頻處理中包含美顏、水印、以及各類自定義濾鏡等處理。數組

4. 編碼和封裝

4.1 編碼
若是把整個流媒體比喻成一個物流系統，那麼編解碼就是其中配貨和裝貨的過程，這個過程很是重要，它的速度和壓縮比對物流系統的意義很是大，影響物流系統的總體速度和成本。一樣，對流媒體傳輸來講，編碼也很是重要，它的編碼性能、編碼速度和編碼壓縮比會直接影響整個流媒體傳輸的用戶體驗和傳輸成本。
視頻編碼的意義
原始視頻數據存儲空間大，一個 1080P 的 7 s 視頻須要 817 MB
原始視頻數據傳輸佔用帶寬大，10 Mbps 的帶寬傳輸上述 7 s 視頻須要 11 分鐘
而通過 H.264 編碼壓縮以後，視頻大小隻有 708 k ，10 Mbps 的帶寬僅僅須要 500 ms ，能夠知足實時傳輸的需求，因此從視頻採集傳感器採集來的原始視頻勢必要通過視頻編碼。服務器

基本原理
爲何巨大的原始視頻能夠編碼成很小的視頻呢?這其中的技術是什麼呢?核心思想就是去除冗餘信息：
1）空間冗餘：圖像相鄰像素之間有較強的相關性
2）時間冗餘：視頻序列的相鄰圖像之間內容類似
3）編碼冗餘：不一樣像素值出現的機率不一樣
4）視覺冗餘：人的視覺系統對某些細節不敏感
5）知識冗餘：規律性的結構可由先驗知識和背景知識獲得網絡

編碼器的選擇
視頻編碼器經歷了數十年的發展，已經從開始的只支持幀內編碼演進到現現在的 H.265 和 VP9 爲表明的新一代編碼器，下面是一些常見的視頻編碼器：
1）H.264/AVC
2）HEVC/H.265
3）VP8
4）VP9
5）FFmpeg
注：音頻編碼器有Mp3, AAC等。ide

4.2 封裝
沿用前面的比喻，封裝能夠理解爲採用哪一種貨車去運輸，也就是媒體的容器。
所謂容器，就是把編碼器生成的多媒體內容(視頻，音頻，字幕，章節信息等)混合封裝在一塊兒的標準。容器使得不一樣多媒體內容同步播放變得很簡單，而容器的另外一個做用就是爲多媒體內容提供索引，也就是說若是沒有容器存在的話一部影片你只能從一開始看到最後，不能拖動進度條，並且若是你不本身去手動另外載入音頻就沒有聲音。下面是幾種常見的封裝格式：
1）AVI 格式(後綴爲 .avi)
2）DV-AVI 格式(後綴爲 .avi)
3）QuickTime File Format 格式(後綴爲 .mov)
4）MPEG 格式(文件後綴能夠是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4等)
5）WMV 格式(後綴爲.wmv .asf)
6）Real Video 格式(後綴爲 .rm .rmvb)
7）Flash Video 格式(後綴爲 .flv)
8）Matroska 格式(後綴爲 .mkv)
9）MPEG2-TS 格式 (後綴爲 .ts)
目前，咱們在流媒體傳輸，尤爲是直播中主要採用的就是 FLV 和 MPEG2-TS 格式，分別用於 RTMP/HTTP-FLV 和 HLS 協議。

5. 推流到服務器

推流是直播的第一千米，直播的推流對這個直播鏈路影響很是大，若是推流的網絡不穩定，不管咱們如何作優化，觀衆的體驗都會很糟糕。因此也是咱們排查問題的第一步，如何系統地解決這類問題須要咱們對相關理論有基礎的認識。
推送協議主要有三種：
（1）RTSP（Real Time Streaming Protocol）：實時流傳送協議，是用來控制聲音或影像的多媒體串流協議, 由Real Networks和Netscape共同提出的；
（2）RTMP(Real Time Messaging Protocol)：實時消息傳送協議，是Adobe公司爲Flash播放器和服務器之間音頻、視頻和數據傳輸開發的開放協議；
（3）HLS(HTTP Live Streaming)：是蘋果公司(Apple Inc.)實現的基於HTTP的流媒體傳輸協議；
RTMP協議基於 TCP，是一種設計用來進行實時數據通訊的網絡協議，主要用來在 flash/AIR 平臺和支持 RTMP 協議的流媒體/交互服務器之間進行音視頻和數據通訊。支持該協議的軟件包括 Adobe Media Server/Ultrant Media Server/red5 等。
它有三種變種：
RTMP工做在TCP之上的明文協議，使用端口1935；
RTMPT封裝在HTTP請求之中，可穿越防火牆；
RTMPS相似RTMPT，但使用的是HTTPS鏈接；
RTMP 是目前主流的流媒體傳輸協議，普遍用於直播領域，能夠說市面上絕大多數的直播產品都採用了這個協議。
RTMP協議就像一個用來裝數據包的容器，這些數據能夠是AMF格式的數據,也能夠是FLV中的視/音頻數據。一個單一的鏈接能夠經過不一樣的通道傳輸多路網絡流。這些通道中的包都是按照固定大小的包傳輸的。

6. 服務器流分發

流媒體服務器的做用是負責直播流的發佈和轉播分發功能。
流媒體服務器有諸多選擇，如商業版的Wowza。但我選擇的是Nginx，它是一款優秀的免費Web服務器，後面我會詳細介紹如何搭建Nginx服務器。

7. 播放器流播放

主要是實現直播節目在終端上的展示。由於我這裏使用的傳輸協議是RTMP，因此只要支持 RTMP 流協議的播放器均可以使用，譬如：
（1）電腦端：VLC等
（2）手機端：Vitamio以及ijkplayer等
通常狀況下咱們把上面流程的前四步稱爲第一部分，即視頻主播端的操做。視頻採集處理後推流到流媒體服務器，第一部分功能完成。第二部分就是流媒體服務器，負責把從第一部分接收到的流進行處理並分發給觀衆。第三部分就是觀衆啦，只須要擁有支持流傳輸協議的播放器便可。

2、視頻直播代碼演示（Android）

1. 採集推流SDK

目前市面上集視頻採集、編碼、封裝和推流於一體的SDK已經有不少了，例如商業版的NodeMedia，但NodeMedia SDK按包名受權，未受權包名應用使用有版權提示信息。
我這裏使用的是別人分享在github上的一個免費SDK，下載地址。

下面我就代碼分析一下直播推流的過程吧：
先看入口界面：

很簡單，一個輸入框讓你填寫服務器的推流地址，另一個按鈕開啓推流。

public class StartActivity extends Activity { public static final String RTMPURL_MESSAGE = "rtmppush.hx.com.rtmppush.rtmpurl"; private Button _startRtmpPushButton = null; private EditText _rtmpUrlEditText = null; private View.OnClickListener _startRtmpPushOnClickedEvent = new View.OnClickListener() { @Override public void onClick(View arg0) { Intent i = new Intent(StartActivity.this, MainActivity.class); String rtmpUrl = _rtmpUrlEditText.getText().toString(); i.putExtra(StartActivity.RTMPURL_MESSAGE, rtmpUrl); StartActivity.this.startActivity(i); } }; private void InitUI(){ _rtmpUrlEditText = (EditText)findViewById(R.id.rtmpUrleditText); _startRtmpPushButton = (Button)findViewById(R.id.startRtmpButton); _rtmpUrlEditText.setText("rtmp://192.168.1.104:1935/live/12345"); _startRtmpPushButton.setOnClickListener(_startRtmpPushOnClickedEvent); } @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_start); InitUI(); } }

主要的推流過程在MainActivity裏面，一樣，先看界面：

佈局文件：

<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" android:id="@+id/cameraRelative" android:layout_width="match_parent" android:layout_height="match_parent" android:paddingBottom="@dimen/activity_vertical_margin" android:paddingLeft="@dimen/activity_horizontal_margin" android:paddingRight="@dimen/activity_horizontal_margin" android:paddingTop="@dimen/activity_vertical_margin" android:theme="@android:style/Theme.NoTitleBar.Fullscreen"> <SurfaceView android:id="@+id/surfaceViewEx" android:layout_width="match_parent" android:layout_height="match_parent"/> <Button android:id="@+id/SwitchCamerabutton" android:layout_width="wrap_content" android:layout_height="wrap_content" android:layout_alignBottom="@+id/surfaceViewEx" android:text="@string/SwitchCamera" /> </RelativeLayout>

其實就是用一個SurfaceView顯示攝像頭拍攝畫面，並提供了一個按鈕切換前置和後置攝像頭。從入口函數看起：

@Override protected void onCreate(Bundle savedInstanceState) { requestWindowFeature(Window.FEATURE_NO_TITLE); getWindow().setFlags(WindowManager.LayoutParams.FLAG_FULLSCREEN, WindowManager.LayoutParams.FLAG_FULLSCREEN); this.getWindow().setFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON, WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON); super.onCreate(savedInstanceState); setContentView(R.layout.activity_main); setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_PORTRAIT); Intent intent = getIntent(); _rtmpUrl = intent.getStringExtra(StartActivity.RTMPURL_MESSAGE); InitAll(); PowerManager pm = (PowerManager) getSystemService(Context.POWER_SERVICE); _wakeLock = pm.newWakeLock(PowerManager.SCREEN_DIM_WAKE_LOCK, "My Tag"); }

首先設置全屏顯示，常亮，豎屏，獲取服務器的推流url，再初始化全部東西。

private void InitAll() { WindowManager wm = this.getWindowManager(); int width = wm.getDefaultDisplay().getWidth(); int height = wm.getDefaultDisplay().getHeight(); int iNewWidth = (int) (height * 3.0 / 4.0); RelativeLayout rCameraLayout = (RelativeLayout) findViewById(R.id.cameraRelative); RelativeLayout.LayoutParams layoutParams = new RelativeLayout.LayoutParams(RelativeLayout.LayoutParams.MATCH_PARENT, RelativeLayout.LayoutParams.MATCH_PARENT); int iPos = width - iNewWidth; layoutParams.setMargins(iPos, 0, 0, 0); _mSurfaceView = (SurfaceView) this.findViewById(R.id.surfaceViewEx); _mSurfaceView.getHolder().setFixedSize(HEIGHT_DEF, WIDTH_DEF); _mSurfaceView.getHolder().setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS); _mSurfaceView.getHolder().setKeepScreenOn(true); _mSurfaceView.getHolder().addCallback(new SurceCallBack()); _mSurfaceView.setLayoutParams(layoutParams); InitAudioRecord(); _SwitchCameraBtn = (Button) findViewById(R.id.SwitchCamerabutton); _SwitchCameraBtn.setOnClickListener(_switchCameraOnClickedEvent); RtmpStartMessage();//開始推流 }

首先設置屏幕比例3:4顯示，給SurfaceView設置一些參數並添加回調，再初始化AudioRecord，最後執行開始推流。音頻在這裏初始化了，那麼相機在哪裏初始化呢？其實在SurfaceView的回調函數裏。

@Override public void surfaceCreated(SurfaceHolder holder) { _iDegrees = getDisplayOritation(getDispalyRotation(), 0); if (_mCamera != null) { InitCamera(); //初始化相機 return; } //華爲i7先後共用攝像頭 if (Camera.getNumberOfCameras() == 1) { _bIsFront = false; _mCamera = Camera.open(Camera.CameraInfo.CAMERA_FACING_BACK); } else { _mCamera = Camera.open(Camera.CameraInfo.CAMERA_FACING_FRONT); } InitCamera(); } @Override public void surfaceDestroyed(SurfaceHolder holder) { } }

相機的初始化就在這裏啦：

public void InitCamera() { Camera.Parameters p = _mCamera.getParameters(); Size prevewSize = p.getPreviewSize(); showlog("Original Width:" + prevewSize.width + ", height:" + prevewSize.height); List<Size> PreviewSizeList = p.getSupportedPreviewSizes(); List<Integer> PreviewFormats = p.getSupportedPreviewFormats(); showlog("Listing all supported preview sizes"); for (Camera.Size size : PreviewSizeList) { showlog(" w: " + size.width + ", h: " + size.height); } showlog("Listing all supported preview formats"); Integer iNV21Flag = 0; Integer iYV12Flag = 0; for (Integer yuvFormat : PreviewFormats) { showlog("preview formats:" + yuvFormat); if (yuvFormat == android.graphics.ImageFormat.YV12) { iYV12Flag = android.graphics.ImageFormat.YV12; } if (yuvFormat == android.graphics.ImageFormat.NV21) { iNV21Flag = android.graphics.ImageFormat.NV21; } } if (iNV21Flag != 0) { _iCameraCodecType = iNV21Flag; } else if (iYV12Flag != 0) { _iCameraCodecType = iYV12Flag; } p.setPreviewSize(HEIGHT_DEF, WIDTH_DEF); p.setPreviewFormat(_iCameraCodecType); p.setPreviewFrameRate(FRAMERATE_DEF); showlog("_iDegrees="+_iDegrees); _mCamera.setDisplayOrientation(_iDegrees); p.setRotation(_iDegrees); _mCamera.setPreviewCallback(_previewCallback); _mCamera.setParameters(p); try { _mCamera.setPreviewDisplay(_mSurfaceView.getHolder()); } catch (Exception e) { return; } _mCamera.cancelAutoFocus();//只有加上了這一句，纔會自動對焦。 _mCamera.startPreview(); }

還記得以前初始化完成以後開始推流函數嗎？

private void RtmpStartMessage() { Message msg = new Message(); msg.what = ID_RTMP_PUSH_START; Bundle b = new Bundle(); b.putInt("ret", 0); msg.setData(b); mHandler.sendMessage(msg); }

Handler處理：

public Handler mHandler = new Handler() { public void handleMessage(android.os.Message msg) { Bundle b = msg.getData(); int ret; switch (msg.what) { case ID_RTMP_PUSH_START: { Start(); break; } } } };

真正的推流實現原來在這裏：

private void Start() { if (DEBUG_ENABLE) { File saveDir = Environment.getExternalStorageDirectory(); String strFilename = saveDir + "/aaa.h264"; try { if (!new File(strFilename).exists()) { new File(strFilename).createNewFile(); } _outputStream = new DataOutputStream(new FileOutputStream(strFilename)); } catch (Exception e) { e.printStackTrace(); } } //_rtmpSessionMgr.Start("rtmp://192.168.0.110/live/12345678"); _rtmpSessionMgr = new RtmpSessionManager(); _rtmpSessionMgr.Start(_rtmpUrl); //------point 1 int iFormat = _iCameraCodecType; _swEncH264 = new SWVideoEncoder(WIDTH_DEF, HEIGHT_DEF, FRAMERATE_DEF, BITRATE_DEF); _swEncH264.start(iFormat); //------point 2 _bStartFlag = true; _h264EncoderThread = new Thread(_h264Runnable); _h264EncoderThread.setPriority(Thread.MAX_PRIORITY); _h264EncoderThread.start(); //------point 3 _AudioRecorder.startRecording(); _AacEncoderThread = new Thread(_aacEncoderRunnable); _AacEncoderThread.setPriority(Thread.MAX_PRIORITY); _AacEncoderThread.start(); //------point 4 }

裏面主要的函數有四個，我分別標出來了，如今咱們逐一看一下。首先是point 1，這已經走到SDK裏面了

public int Start(String rtmpUrl){ int iRet = 0; _rtmpUrl = rtmpUrl; _rtmpSession = new RtmpSession(); _bStartFlag = true; _h264EncoderThread.setPriority(Thread.MAX_PRIORITY); _h264EncoderThread.start(); return iRet; }

其實就是啓動了一個線程，這個線程稍微有點複雜

private Thread _h264EncoderThread = new Thread(new Runnable() { private Boolean WaitforReConnect(){ for(int i=0; i < 500; i++){ try { Thread.sleep(10); } catch (InterruptedException e) { e.printStackTrace(); } if(_h264EncoderThread.interrupted() || (!_bStartFlag)){ return false; } } return true; } @Override public void run() { while (!_h264EncoderThread.interrupted() && (_bStartFlag)) { if(_rtmpHandle == 0) { _rtmpHandle = _rtmpSession.RtmpConnect(_rtmpUrl); if(_rtmpHandle == 0){ if(!WaitforReConnect()){ break; } continue; } }else{ if(_rtmpSession.RtmpIsConnect(_rtmpHandle) == 0){ _rtmpHandle = _rtmpSession.RtmpConnect(_rtmpUrl); if(_rtmpHandle == 0){ if(!WaitforReConnect()){ break; } continue; } } } if((_videoDataQueue.size() == 0) && (_audioDataQueue.size()==0)){ try { Thread.sleep(30); } catch (InterruptedException e) { e.printStackTrace(); } continue; } //Log.i(TAG, "VideoQueue length="+_videoDataQueue.size()+", AudioQueue length="+_audioDataQueue.size()); for(int i = 0; i < 100; i++){ byte[] audioData = GetAndReleaseAudioQueue(); if(audioData == null){ break; } //Log.i(TAG, "###RtmpSendAudioData:"+audioData.length); _rtmpSession.RtmpSendAudioData(_rtmpHandle, audioData, audioData.length); } byte[] videoData = GetAndReleaseVideoQueue(); if(videoData != null){ //Log.i(TAG, "$$$RtmpSendVideoData:"+videoData.length); _rtmpSession.RtmpSendVideoData(_rtmpHandle, videoData, videoData.length); } try { Thread.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); } } _videoDataQueueLock.lock(); _videoDataQueue.clear(); _videoDataQueueLock.unlock(); _audioDataQueueLock.lock(); _audioDataQueue.clear(); _audioDataQueueLock.unlock(); if((_rtmpHandle != 0) && (_rtmpSession != null)){ _rtmpSession.RtmpDisconnect(_rtmpHandle); } _rtmpHandle = 0; _rtmpSession = null; } });

看18行，主要就是一個while循環，每隔一段時間去_audioDataQueue和_videoDataQueue兩個緩衝數組中取數據發送給服務器，發送方法_rtmpSession.RtmpSendAudioData和_rtmpSession.RtmpSendVideoData都是Native方法，經過jni調用so庫文件的內容，每隔一段時間，這個時間是多少呢？看第4行，原來是5秒鐘，也就是說咱們的視頻數據會在緩衝中存放5秒才被取出來發給服務器，全部直播會有5秒的延時，咱們能夠修改這塊來控制直播延時。
上面說了咱們會從_audioDataQueue和_videoDataQueue兩個Buffer裏面取數據，那麼數據是什麼時候放進去的呢？看上面的point 2,3,4。首先是point 2，一樣走進了SDK：

public boolean start(int iFormateType){ int iType = OpenH264Encoder.YUV420_TYPE; if(iFormateType == android.graphics.ImageFormat.YV12){ iType = OpenH264Encoder.YUV12_TYPE; }else{ iType = OpenH264Encoder.YUV420_TYPE; } _OpenH264Encoder = new OpenH264Encoder(); _iHandle = _OpenH264Encoder.InitEncode(_iWidth, _iHeight, _iBitRate, _iFrameRate, iType); if(_iHandle == 0){ return false; } _iFormatType = iFormateType; return true; }

其實這是初始化編碼器，具體的初始化過程也在so文件，jni調用。point 3,4其實就是開啓兩個線程，那咱們看看線程中具體實現吧。

private Thread _h264EncoderThread = null; private Runnable _h264Runnable = new Runnable() { @Override public void run() { while (!_h264EncoderThread.interrupted() && _bStartFlag) { int iSize = _YUVQueue.size(); if (iSize > 0) { _yuvQueueLock.lock(); byte[] yuvData = _YUVQueue.poll(); if (iSize > 9) { Log.i(LOG_TAG, "###YUV Queue len=" + _YUVQueue.size() + ", YUV length=" + yuvData.length); } _yuvQueueLock.unlock(); if (yuvData == null) { continue; } if (_bIsFront) { _yuvEdit = _swEncH264.YUV420pRotate270(yuvData, HEIGHT_DEF, WIDTH_DEF); } else { _yuvEdit = _swEncH264.YUV420pRotate90(yuvData, HEIGHT_DEF, WIDTH_DEF); } byte[] h264Data = _swEncH264.EncoderH264(_yuvEdit); if (h264Data != null) { _rtmpSessionMgr.InsertVideoData(h264Data); if (DEBUG_ENABLE) { try { _outputStream.write(h264Data); int iH264Len = h264Data.length; //Log.i(LOG_TAG, "Encode H264 len="+iH264Len); } catch (IOException e1) { e1.printStackTrace(); } } } } try { Thread.sleep(1); } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); } } _YUVQueue.clear(); } };

也是一個循環線程，第9行，從_YUVQueue中取出攝像頭獲取的數據，而後進行視頻旋轉，第24行，對數據進行編碼，而後執行26行，InsertVideoData：

public void InsertVideoData(byte[] videoData){ if(!_bStartFlag){ return; } _videoDataQueueLock.lock(); if(_videoDataQueue.size() > 50){ _videoDataQueue.clear(); } _videoDataQueue.offer(videoData); _videoDataQueueLock.unlock(); }

果真就是插入以前提到的_videoDataQueue的Buffer。這裏插入的是視頻數據，那麼音頻數據呢？在另一個線程，內容大體相同

private Runnable _aacEncoderRunnable = new Runnable() { @Override public void run() { DataOutputStream outputStream = null; if (DEBUG_ENABLE) { File saveDir = Environment.getExternalStorageDirectory(); String strFilename = saveDir + "/aaa.aac"; try { if (!new File(strFilename).exists()) { new File(strFilename).createNewFile(); } outputStream = new DataOutputStream(new FileOutputStream(strFilename)); } catch (Exception e1) { e1.printStackTrace(); } } long lSleepTime = SAMPLE_RATE_DEF * 16 * 2 / _RecorderBuffer.length; while (!_AacEncoderThread.interrupted() && _bStartFlag) { int iPCMLen = _AudioRecorder.read(_RecorderBuffer, 0, _RecorderBuffer.length); // Fill buffer if ((iPCMLen != _AudioRecorder.ERROR_BAD_VALUE) && (iPCMLen != 0)) { if (_fdkaacHandle != 0) { byte[] aacBuffer = _fdkaacEnc.FdkAacEncode(_fdkaacHandle, _RecorderBuffer); if (aacBuffer != null) { long lLen = aacBuffer.length; _rtmpSessionMgr.InsertAudioData(aacBuffer); //Log.i(LOG_TAG, "fdk aac length="+lLen+" from pcm="+iPCMLen); if (DEBUG_ENABLE) { try { outputStream.write(aacBuffer); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } } } } else { Log.i(LOG_TAG, "######fail to get PCM data"); } try { Thread.sleep(lSleepTime / 10); } catch (InterruptedException e) { e.printStackTrace(); } } Log.i(LOG_TAG, "AAC Encoder Thread ended ......"); } }; private Thread _AacEncoderThread = null;

這就是經過循環將音頻數據插入_audioDataQueue這個Buffer。
以上就是視頻採集和推流的代碼分析，Demo中並無對視頻進行任何處理，只是攝像頭採集，編碼後推流到服務器端。

2. Nginx服務器搭建

詳情參考文章：https://www.jianshu.com/p/2be2b3130693

3. 直播流的播放

主播界面：

上面說過了只要支持RTMP流傳輸協議的播放器均可以收看到咱們的直播。下面舉兩個例子吧：
（1）window端播放器VLC

（2）android端播放器ijkplayer
ijkplayer的使用請參考Android ijkplayer的使用解析

private void initPlayer() { player = new PlayerManager(this); player.setFullScreenOnly(true); player.setScaleType(PlayerManager.SCALETYPE_FILLPARENT); player.playInFullScreen(true); player.setPlayerStateListener(this); player.play("rtmp://192.168.1.104:1935/live/12345"); }