移動端視頻開發經過什麼方式實現直播？十分鐘帶你快速瞭解
本專欄專一分享大型Bat面試知識，後續會持續更新，喜歡的話麻煩點擊一個關注
如今的移動端的音視頻這些在近段時間很是火熱，那麼咱們先來找一個崗位看看做爲一個移動端視頻開發工程師咱們要作些什麼呢html
崗位場景
以前去面試的時候，面試官問到以前作過直播嘛？大家是經過什麼方式實現直播效果的
- 內心分析：直播技術實現有不少種，若是以前有過直播經驗90% 都會說 我用的某某第三方的直播框架，而面試官是不想聽到你只是調用了別人的API而已。他想知道你是否有本身實現過直播技術的（求職過程當中若是遇到這個問題，絕對是你面試的崗位中正在作直播功能，就像抖音的崗位。）
注意：此問題是一個連環炮 後面大概率會問道 直播優化 直播優化請參考android
做爲求職者做咱們該怎麼回答
若是你沒有作過直播，能夠跟面試官說我沒作過，可是蹭隊直播比較感興趣，花了至關長的時間對周波進行專研，對直播技術的實現有本身的深刻了解。這樣面試官以爲 你很是不錯nginx
接下來對整個直播流程(音視頻編解碼，rtmp協議 h264協議)進行講解 (末尾含源碼哦~)git
一.視頻直播流程
視頻直播的流程能夠分爲以下幾步： 採集 —>處理—>編碼和封裝—>推流到服務器—>服務器流分發—>播放器流播放
github
1.採集
採集是整個視頻推流過程當中的第一個環節，它從系統的採集設備中獲取原始視頻數據，將其輸出到下一個環節。視頻的採集涉及兩方面數據的採集：音頻採集和圖像採集，它們分別對應兩種徹底不一樣的輸入源和數據格式。
面試
- 音頻採集 音頻數據既能與圖像結合組合成視頻數據，也能以純音頻的方式採集播放，後者在不少成熟的應用場景如在線電臺和語音電臺等起着很是重要的做用。音頻的採集過程主要經過設備將環境中的模擬信號採集成 PCM 編碼的原始數據，而後編碼壓縮成 MP3 等格式的數據分發出去。常見的音頻壓縮格式有：MP3，AAC，HE-AAC，Opus，FLAC，Vorbis (Ogg)，Speex 和 AMR等。 音頻採集和編碼主要面臨的挑戰在於：延時敏感、卡頓敏感、噪聲消除（Denoise）、回聲消除（AEC）、靜音檢測（VAD）和各類混音算法等
- 圖像採集 將圖像採集的圖片結果組合成一組連續播放的動畫，即構成視頻中可肉眼觀看的內容。圖像的採集過程主要由攝像頭等設備拍攝成 YUV 編碼的原始數據，而後通過編碼壓縮成 H.264 等格式的數據分發出去。常見的視頻封裝格式有：MP四、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。 圖像因爲其直觀感覺最強而且體積也比較大，構成了一個視頻內容的主要部分。圖像採集和編碼面臨的主要挑戰在於：設備兼容性差、延時敏感、卡頓敏感以及各類對圖像的處理操做如美顏和水印等。
視頻採集的採集源主要有 攝像頭採集、屏幕錄製和從視頻文件推流算法
2.處理
視頻或者音頻完成採集以後獲得原始數據，爲了加強一些現場效果或者加上一些額外的效果，咱們通常會在將其編碼壓縮前進行處理，好比打上時間戳或者公司 Logo 的水印，祛斑美顏和聲音混淆等處理。在主播和觀衆連麥場景中，主播須要和某個或者多個觀衆進行對話，並將對話結果實時分享給其餘全部觀衆，連麥的處理也有部分工做在推流端完成。
如上圖所示，處理環節中分爲音頻和視頻處理，音頻處理中具體包含混音、降噪和聲音特效等處理，視頻處理中包含美顏、水印、以及各類自定義濾鏡等處理。windows
3.編碼和封裝
（1）編碼數組
若是把整個流媒體比喻成一個物流系統，那麼編解碼就是其中配貨和裝貨的過程，這個過程很是重要，它的速度和壓縮比對物流系統的意義很是大，影響物流系統的總體速度和成本。一樣，對流媒體傳輸來講，編碼也很是重要，它的編碼性能、編碼速度和編碼壓縮比會直接影響整個流媒體傳輸的用戶體驗和傳輸成本。性能優化
- 視頻編碼的意義 原始視頻數據存儲空間大，一個 1080P 的 7 s 視頻須要 817 MB 原始視頻數據傳輸佔用帶寬大，10 Mbps 的帶寬傳輸上述 7 s 視頻須要 11 分鐘 而通過 H.264 編碼壓縮以後，視頻大小隻有 708 k ，10 Mbps 的帶寬僅僅須要 500 ms ，能夠知足實時傳輸的需求，因此從視頻採集傳感器採集來的原始視頻勢必要通過視頻編碼。
- 基本原理 爲何巨大的原始視頻能夠編碼成很小的視頻呢?這其中的技術是什麼呢?核心思想就是去除冗餘信息： 1）空間冗餘：圖像相鄰像素之間有較強的相關性 2）時間冗餘：視頻序列的相鄰圖像之間內容類似 3）編碼冗餘：不一樣像素值出現的機率不一樣 4）視覺冗餘：人的視覺系統對某些細節不敏感 5）知識冗餘：規律性的結構可由先驗知識和背景知識獲得
-
編碼器的選擇 視頻編碼器經歷了數十年的發展，已經從開始的只支持幀內編碼演進到現現在的 H.265 和 VP9 爲表明的新一代編碼器，下面是一些常見的視頻編碼器：
- H.264/AVC
- HEVC/H.265
- VP8
- VP9
- FFmpeg
注：音頻編碼器有Mp3, AAC等。
（2）封裝
沿用前面的比喻，封裝能夠理解爲採用哪一種貨車去運輸，也就是媒體的容器。 所謂容器，就是把編碼器生成的多媒體內容(視頻，音頻，字幕，章節信息等)混合封裝在一塊兒的標準。容器使得不一樣多媒體內容同步播放變得很簡單，而容器的另外一個做用就是爲多媒體內容提供索引，也就是說若是沒有容器存在的話一部影片你只能從一開始看到最後，不能拖動進度條，並且若是你不本身去手動另外載入音頻就沒有聲音。下面是幾種常見的封裝格式：
- AVI 格式(後綴爲 .avi)
- DV-AVI 格式(後綴爲 .avi)
- QuickTime File Format 格式(後綴爲 .mov)
- MPEG 格式(文件後綴能夠是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4等)
- WMV 格式(後綴爲.wmv .asf)
- Real Video 格式(後綴爲 .rm .rmvb)
- Flash Video 格式(後綴爲 .flv)
- Matroska 格式(後綴爲 .mkv)
- MPEG2-TS 格式 (後綴爲 .ts) 目前，咱們在流媒體傳輸，尤爲是直播中主要採用的就是 FLV 和 MPEG2-TS 格式，分別用於 RTMP/HTTP-FLV 和 HLS 協議。
4.推流到服務器
推流是直播的第一千米，直播的推流對這個直播鏈路影響很是大，若是推流的網絡不穩定，不管咱們如何作優化，觀衆的體驗都會很糟糕。因此也是咱們排查問題的第一步，如何系統地解決這類問題須要咱們對相關理論有基礎的認識。 推送協議主要有三種：
- RTSP（Real Time Streaming Protocol）：實時流傳送協議，是用來控制聲音或影像的多媒體串流協議, 由Real Networks和Netscape共同提出的；
- RTMP(Real Time Messaging Protocol)：實時消息傳送協議，是Adobe公司爲Flash播放器和服務器之間音頻、視頻和數據傳輸 開發的開放協議；
- HLS(HTTP Live Streaming)：是蘋果公司(Apple Inc.)實現的基於HTTP的流媒體傳輸協議；
RTMP協議基於 TCP，是一種設計用來進行實時數據通訊的網絡協議，主要用來在 flash/AIR 平臺和支持 RTMP 協議的流媒體/交互服務器之間進行音視頻和數據通訊。支持該協議的軟件包括 Adobe Media Server/Ultrant Media Server/red5 等。 它有三種變種：
- RTMP工做在TCP之上的明文協議，使用端口1935；
- RTMPT封裝在HTTP請求之中，可穿越防火牆；
- RTMPS相似RTMPT，但使用的是HTTPS鏈接；
RTMP 是目前主流的流媒體傳輸協議，普遍用於直播領域，能夠說市面上絕大多數的直播產品都採用了這個協議。 RTMP協議就像一個用來裝數據包的容器，這些數據能夠是AMF格式的數據,也能夠是FLV中的視/音頻數據。一個單一的鏈接能夠經過不一樣的通道傳輸多路網絡流。這些通道中的包都是按照固定大小的包傳輸的。 
5.服務器流分發
流媒體服務器的做用是負責直播流的發佈和轉播分發功能。 流媒體服務器有諸多選擇，如商業版的Wowza。但我選擇的是Nginx，它是一款優秀的免費Web服務器，後面我會詳細介紹如何搭建Nginx服務器。
6.播放器流播放
主要是實現直播節目在終端上的展示。由於我這裏使用的傳輸協議是RTMP， 因此只要支持 RTMP 流協議的播放器均可以使用，譬如：
- 電腦端：VLC等
- 手機端：Vitamio以及ijkplayer等
通常狀況下咱們把上面流程的前四步稱爲第一部分，即視頻主播端的操做。視頻採集處理後推流到流媒體服務器，第一部分功能完成。第二部分就是流媒體服務器，負責把從第一部分接收到的流進行處理並分發給觀衆。第三部分就是觀衆啦，只須要擁有支持流傳輸協議的播放器便可。
二.第一部分：採集推流SDK
目前市面上集視頻採集、編碼、封裝和推流於一體的SDK已經有不少了，例如商業版的NodeMedia，但NodeMedia SDK按包名受權，未受權包名應用使用有版權提示信息。 我這裏使用的是別人分享在github上的一個免費SDK，下載地址。
下面我就代碼分析一下直播推流的過程吧： 先看入口界面：
很簡單，一個輸入框讓你填寫服務器的推流地址，另一個按鈕開啓推流。
public class StartActivity extends Activity {
public static final String RTMPURL_MESSAGE = "rtmppush.hx.com.rtmppush.rtmpurl";
private Button _startRtmpPushButton = null;
private EditText _rtmpUrlEditText = null;
private View.OnClickListener _startRtmpPushOnClickedEvent = new View.OnClickListener() {
@Override
public void onClick(View arg0) {
Intent i = new Intent(StartActivity.this, MainActivity.class);
String rtmpUrl = _rtmpUrlEditText.getText().toString();
i.putExtra(StartActivity.RTMPURL_MESSAGE, rtmpUrl);
StartActivity.this.startActivity(i);
}
};
private void InitUI(){
_rtmpUrlEditText = (EditText)findViewById(R.id.rtmpUrleditText);
_startRtmpPushButton = (Button)findViewById(R.id.startRtmpButton);
_rtmpUrlEditText.setText("rtmp://192.168.1.104:1935/live/12345");
_startRtmpPushButton.setOnClickListener(_startRtmpPushOnClickedEvent);
}
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_start);
InitUI();
}
}
主要的推流過程在MainActivity裏面，一樣，先看界面：
佈局文件：
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
android:id="@+id/cameraRelative"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:paddingBottom="@dimen/activity_vertical_margin"
android:paddingLeft="@dimen/activity_horizontal_margin"
android:paddingRight="@dimen/activity_horizontal_margin"
android:paddingTop="@dimen/activity_vertical_margin"
android:theme="@android:style/Theme.NoTitleBar.Fullscreen">
<SurfaceView
android:id="@+id/surfaceViewEx"
android:layout_width="match_parent"
android:layout_height="match_parent"/>
<Button
android:id="@+id/SwitchCamerabutton"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_alignBottom="@+id/surfaceViewEx"
android:text="@string/SwitchCamera" />
</RelativeLayout>
其實就是用一個SurfaceView顯示攝像頭拍攝畫面，並提供了一個按鈕切換前置和後置攝像頭。從入口函數看起：
@Override
protected void onCreate(Bundle savedInstanceState) {
requestWindowFeature(Window.FEATURE_NO_TITLE);
getWindow().setFlags(WindowManager.LayoutParams.FLAG_FULLSCREEN,
WindowManager.LayoutParams.FLAG_FULLSCREEN);
this.getWindow().setFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON, WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_PORTRAIT);
Intent intent = getIntent();
_rtmpUrl = intent.getStringExtra(StartActivity.RTMPURL_MESSAGE);
InitAll();
PowerManager pm = (PowerManager) getSystemService(Context.POWER_SERVICE);
_wakeLock = pm.newWakeLock(PowerManager.SCREEN_DIM_WAKE_LOCK, "My Tag");
首先設置全屏顯示，常亮，豎屏，獲取服務器的推流url，再初始化全部東西。
private void InitAll() {
WindowManager wm = this.getWindowManager();
int width = wm.getDefaultDisplay().getWidth();
int height = wm.getDefaultDisplay().getHeight();
int iNewWidth = (int) (height * 3.0 / 4.0);
RelativeLayout rCameraLayout = (RelativeLayout)findViewById(R.id.cameraRelative);
RelativeLayout.LayoutParams layoutParams = new RelativeLayout.LayoutParams(RelativeLayout.LayoutParams.MATCH_PARENT,
RelativeLayout.LayoutParams.MATCH_PARENT);
int iPos = width - iNewWidth;
layoutParams.setMargins(iPos, 0, 0, 0);
_mSurfaceView = (SurfaceView) this.findViewById(R.id.surfaceViewEx);
_mSurfaceView.getHolder().setFixedSize(HEIGHT_DEF, WIDTH_DEF);
_mSurfaceView.getHolder().setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
_mSurfaceView.getHolder().setKeepScreenOn(true);
_mSurfaceView.getHolder().addCallback(new SurceCallBack());
_mSurfaceView.setLayoutParams(layoutParams);
InitAudioRecord();
_SwitchCameraBtn = (Button) findViewById(R.id.SwitchCamerabutton);
_SwitchCameraBtn.setOnClickListener(_switchCameraOnClickedEvent);
RtmpStartMessage();//開始推流
}
首先設置屏幕比例3:4顯示，給SurfaceView設置一些參數並添加回調，再初始化AudioRecord，最後執行開始推流。音頻在這裏初始化了，那麼相機在哪裏初始化呢？其實在SurfaceView的回調函數裏。
@Override
public void surfaceCreated(SurfaceHolder holder) {
_iDegrees = getDisplayOritation(getDispalyRotation(), 0);
if (_mCamera != null) {
InitCamera(); //初始化相機
return;
}
//華爲i7先後共用攝像頭
if (Camera.getNumberOfCameras() == 1) {
_bIsFront = false;
_mCamera = Camera.open(Camera.CameraInfo.CAMERA_FACING_BACK);
} else {
_mCamera = Camera.open(Camera.CameraInfo.CAMERA_FACING_FRONT);
}
InitCamera();
}
@Override
public void surfaceDestroyed(SurfaceHolder holder) {
}
}
相機的初始化就在這裏啦：
public void InitCamera() {
Camera.Parameters p = _mCamera.getParameters();
Size prevewSize = p.getPreviewSize();
showlog("Original Width:" + prevewSize.width + ", height:" + prevewSize.height);
List<Size> PreviewSizeList = p.getSupportedPreviewSizes();
List<Integer> PreviewFormats = p.getSupportedPreviewFormats();
showlog("Listing all supported preview sizes");
for (Camera.Size size : PreviewSizeList) {
showlog(" w: " + size.width + ", h: " + size.height);
}
showlog("Listing all supported preview formats");
Integer iNV21Flag = 0;
Integer iYV12Flag = 0;
for (Integer yuvFormat : PreviewFormats) {
showlog("preview formats:" + yuvFormat);
if (yuvFormat == android.graphics.ImageFormat.YV12) {
iYV12Flag = android.graphics.ImageFormat.YV12;
}
if (yuvFormat == android.graphics.ImageFormat.NV21) {
iNV21Flag = android.graphics.ImageFormat.NV21;
}
}
if (iNV21Flag != 0) {
_iCameraCodecType = iNV21Flag;
} else if (iYV12Flag != 0) {
_iCameraCodecType = iYV12Flag;
}
p.setPreviewSize(HEIGHT_DEF, WIDTH_DEF);
p.setPreviewFormat(_iCameraCodecType);
p.setPreviewFrameRate(FRAMERATE_DEF);
showlog("_iDegrees="+_iDegrees);
_mCamera.setDisplayOrientation(_iDegrees);
p.setRotation(_iDegrees);
_mCamera.setPreviewCallback(_previewCallback);
_mCamera.setParameters(p);
try {
_mCamera.setPreviewDisplay(_mSurfaceView.getHolder());
} catch (Exception e) {
return;
}
_mCamera.cancelAutoFocus();//只有加上了這一句，纔會自動對焦。
_mCamera.startPreview();
}
還記得以前初始化完成以後開始推流函數嗎？
private void RtmpStartMessage() {
Message msg = new Message();
msg.what = ID_RTMP_PUSH_START;
Bundle b = new Bundle();
b.putInt("ret", 0);
msg.setData(b);
mHandler.sendMessage(msg);
}
Handler處理：
public Handler mHandler = new Handler() {
public void handleMessage(android.os.Message msg) {
Bundle b = msg.getData();
int ret;
switch (msg.what) {
case ID_RTMP_PUSH_START: {
Start();
break;
}
}
}
};
}
真正的推流實現原來在這裏：
private void Start() {
if (DEBUG_ENABLE) {
File saveDir = Environment.getExternalStorageDirectory();
String strFilename = saveDir + "/aaa.h264";
try {
if (!new File(strFilename).exists()) {
new File(strFilename).createNewFile();
}
_outputStream = new DataOutputStream(new FileOutputStream(strFilename));
} catch (Exception e) {
e.printStackTrace();
}
}
//_rtmpSessionMgr.Start("rtmp://192.168.0.110/live/12345678");
_rtmpSessionMgr = new RtmpSessionManager();
_rtmpSessionMgr.Start(_rtmpUrl); //------point 1
int iFormat = _iCameraCodecType;
_swEncH264 = new SWVideoEncoder(WIDTH_DEF, HEIGHT_DEF, FRAMERATE_DEF, BITRATE_DEF);
_swEncH264.start(iFormat); //------point 2
_bStartFlag = true;
_h264EncoderThread = new Thread(_h264Runnable);
_h264EncoderThread.setPriority(Thread.MAX_PRIORITY);
_h264EncoderThread.start(); //------point 3
_AudioRecorder.startRecording();
_AacEncoderThread = new Thread(_aacEncoderRunnable);
_AacEncoderThread.setPriority(Thread.MAX_PRIORITY);
_AacEncoderThread.start(); //------point 4
}
裏面主要的函數有四個，我分別標出來了，如今咱們逐一看一下。首先是point 1，這已經走到SDK裏面了
public int Start(String rtmpUrl){
int iRet = 0;
_rtmpUrl = rtmpUrl;
_rtmpSession = new RtmpSession();
_bStartFlag = true;
_h264EncoderThread.setPriority(Thread.MAX_PRIORITY);
_h264EncoderThread.start();
return iRet;
}
其實就是啓動了一個線程，這個線程稍微有點複雜
private Thread _h264EncoderThread = new Thread(new Runnable() {
private Boolean WaitforReConnect(){
for(int i=0; i < 500; i++){
try {
Thread.sleep(10);
} catch (InterruptedException e) {
e.printStackTrace();
}
if(_h264EncoderThread.interrupted() || (!_bStartFlag)){
return false;
}
}
return true;
}
@Override
public void run() {
while (!_h264EncoderThread.interrupted() && (_bStartFlag)) {
if(_rtmpHandle == 0) {
_rtmpHandle = _rtmpSession.RtmpConnect(_rtmpUrl);
if(_rtmpHandle == 0){
if(!WaitforReConnect()){
break;
}
continue;
}
}else{
if(_rtmpSession.RtmpIsConnect(_rtmpHandle) == 0){
_rtmpHandle = _rtmpSession.RtmpConnect(_rtmpUrl);
if(_rtmpHandle == 0){
if(!WaitforReConnect()){
break;
}
continue;
}
}
}
if((_videoDataQueue.size() == 0) && (_audioDataQueue.size()==0)){
try {
Thread.sleep(30);
} catch (InterruptedException e) {
e.printStackTrace();
}
continue;
}
//Log.i(TAG, "VideoQueue length="+_videoDataQueue.size()+", AudioQueue length="+_audioDataQueue.size());
for(int i = 0; i < 100; i++){
byte[] audioData = GetAndReleaseAudioQueue();
if(audioData == null){
break;
}
//Log.i(TAG, "###RtmpSendAudioData:"+audioData.length);
_rtmpSession.RtmpSendAudioData(_rtmpHandle, audioData, audioData.length);
}
byte[] videoData = GetAndReleaseVideoQueue();
if(videoData != null){
//Log.i(TAG, "$$$RtmpSendVideoData:"+videoData.length);
_rtmpSession.RtmpSendVideoData(_rtmpHandle, videoData, videoData.length);
}
try {
Thread.sleep(1);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
_videoDataQueueLock.lock();
_videoDataQueue.clear();
_videoDataQueueLock.unlock();
_audioDataQueueLock.lock();
_audioDataQueue.clear();
_audioDataQueueLock.unlock();
if((_rtmpHandle != 0) && (_rtmpSession != null)){
_rtmpSession.RtmpDisconnect(_rtmpHandle);
}
_rtmpHandle = 0;
_rtmpSession = null;
}
});
看18行，主要就是一個while循環，每隔一段時間去_audioDataQueue和_videoDataQueue兩個緩衝數組中取數據發送給服務器，發送方法_rtmpSession.RtmpSendAudioData和_rtmpSession.RtmpSendVideoData都是Native方法，經過jni調用so庫文件的內容，每隔一段時間，這個時間是多少呢？看第4行，原來是5秒鐘，也就是說咱們的視頻數據會在緩衝中存放5秒才被取出來發給服務器，全部直播會有5秒的延時，咱們能夠修改這塊來控制直播延時。
上面說了咱們會從_audioDataQueue和_videoDataQueue兩個Buffer裏面取數據，那麼數據是什麼時候放進去的呢？看上面的point 2,3,4。首先是point 2，一樣走進了SDK：
public boolean start(int iFormateType){
int iType = OpenH264Encoder.YUV420_TYPE;
if(iFormateType == android.graphics.ImageFormat.YV12){
iType = OpenH264Encoder.YUV12_TYPE;
}else{
iType = OpenH264Encoder.YUV420_TYPE;
}
_OpenH264Encoder = new OpenH264Encoder();
_iHandle = _OpenH264Encoder.InitEncode(_iWidth, _iHeight, _iBitRate, _iFrameRate, iType);
if(_iHandle == 0){
return false;
}
_iFormatType = iFormateType;
return true;
}
其實這是初始化編碼器，具體的初始化過程也在so文件，jni調用。point 3,4其實就是開啓兩個線程，那咱們看看線程中具體實現吧。
private Thread _h264EncoderThread = null;
private Runnable _h264Runnable = new Runnable() {
@Override
public void run() {
while (!_h264EncoderThread.interrupted() && _bStartFlag) {
int iSize = _YUVQueue.size();
if (iSize > 0) {
_yuvQueueLock.lock();
byte[] yuvData = _YUVQueue.poll();
if (iSize > 9) {
Log.i(LOG_TAG, "###YUV Queue len=" + _YUVQueue.size() + ", YUV length=" + yuvData.length);
}
_yuvQueueLock.unlock();
if (yuvData == null) {
continue;
}
if (_bIsFront) {
_yuvEdit = _swEncH264.YUV420pRotate270(yuvData, HEIGHT_DEF, WIDTH_DEF);
} else {
_yuvEdit = _swEncH264.YUV420pRotate90(yuvData, HEIGHT_DEF, WIDTH_DEF);
}
byte[] h264Data = _swEncH264.EncoderH264(_yuvEdit);
if (h264Data != null) {
_rtmpSessionMgr.InsertVideoData(h264Data);
if (DEBUG_ENABLE) {
try {
_outputStream.write(h264Data);
int iH264Len = h264Data.length;
//Log.i(LOG_TAG, "Encode H264 len="+iH264Len);
} catch (IOException e1) {
e1.printStackTrace();
}
}
}
}
try {
Thread.sleep(1);
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
_YUVQueue.clear();
}
}
也是一個循環線程，第9行，從_YUVQueue中取出攝像頭獲取的數據，而後進行視頻旋轉，第24行，對數據進行編碼，而後執行26行，InsertVideoData：
public void InsertVideoData(byte[] videoData){
if(!_bStartFlag){
return;
}
_videoDataQueueLock.lock();
if(_videoDataQueue.size() > 50){
_videoDataQueue.clear();
}
_videoDataQueue.offer(videoData);
_videoDataQueueLock.unlock();
}
果真就是插入以前提到的_videoDataQueue的Buffer。這裏插入的是視頻數據，那麼音頻數據呢？在另一個線程，內容大體相同
private Runnable _aacEncoderRunnable = new Runnable() {
@Override
public void run() {
DataOutputStream outputStream = null;
if (DEBUG_ENABLE) {
File saveDir = Environment.getExternalStorageDirectory();
String strFilename = saveDir + "/aaa.aac";
try {
if (!new File(strFilename).exists()) {
new File(strFilename).createNewFile();
}
outputStream = new DataOutputStream(new FileOutputStream(strFilename));
} catch (Exception e1) {
e1.printStackTrace();
}
}
long lSleepTime = SAMPLE_RATE_DEF * 16 * 2 / _RecorderBuffer.length;
while (!_AacEncoderThread.interrupted() && _bStartFlag) {
int iPCMLen = _AudioRecorder.read(_RecorderBuffer, 0, _RecorderBuffer.length); // Fill buffer
if ((iPCMLen != _AudioRecorder.ERROR_BAD_VALUE) && (iPCMLen != 0)) {
if (_fdkaacHandle != 0) {
byte[] aacBuffer = _fdkaacEnc.FdkAacEncode(_fdkaacHandle, _RecorderBuffer);
if (aacBuffer != null) {
long lLen = aacBuffer.length;
_rtmpSessionMgr.InsertAudioData(aacBuffer);
//Log.i(LOG_TAG, "fdk aac length="+lLen+" from pcm="+iPCMLen);
if (DEBUG_ENABLE) {
try {
outputStream.write(aacBuffer);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}
} else {
Log.i(LOG_TAG, "######fail to get PCM data");
}
try {
Thread.sleep(lSleepTime / 10);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
Log.i(LOG_TAG, "AAC Encoder Thread ended ......");
}
};
private Thread _AacEncoderThread = null;
}
這就是經過循環將音頻數據插入_audioDataQueue這個Buffer。 以上就是視頻採集和推流的代碼分析，Demo中並無對視頻進行任何處理，只是攝像頭採集，編碼後推流到服務器端。
三.第二部分：Nginx服務器搭建
流媒體服務器有諸多選擇，如商業版的Wowza。但我選擇的是免費的Nginx（nginx-rtmp-module）。Nginx自己是一個很是出色的HTTP服務器，它經過nginx的模塊nginx-rtmp-module能夠搭建一個功能相對比較完善的流媒體服務器。這個流媒體服務器能夠支持RTMP和HLS。 Nginx配合SDK作流媒體服務器的原理是: Nginx經過rtmp模塊提供rtmp服務, SDK推送一個rtmp流到Nginx, 而後客戶端經過訪問Nginx來收看實時視頻流。 HLS也是差很少的原理,只是最終客戶端是經過HTTP協議來訪問的,可是SDK推送流仍然是rtmp的。 下面是一款已經集成rtmp模塊的windows版本的Nginx。下載後，便可直接使用 下載連接：https://github.com/illuspas/nginx-rtmp-win32
一、rtmp端口配置 配置文件在/conf/nginx.conf RTMP監聽 1935 端口，啓用live 和hls 兩個application 
因此你的流媒體服務器url能夠寫成：rtmp://（服務器IP地址）:1935/live/xxx 或 rtmp://（服務器IP地址）:1935/hls/xxx 例如咱們上面寫的 rtmp://192.168.1.104:1935/live/12345
HTTP監聽 8080 端口，
- :8080/stat 查看stream狀態
- :8080/index.html 爲一個直播播放與直播發布測試器
- :8080/vod.html 爲一個支持RTMP和HLS點播的測試器
二、啓動nginx服務 雙擊nginx.exe文件或者在dos窗口下運行nginx.exe，便可啓動nginx服務： 
1）啓動任務管理器，能夠看到nginx.exe進程
2）打開網頁輸入http://localhot:8080,出現以下畫面：
顯示以上界面說明啓動成功。
四.第三部分：直播流的播放
主播界面：
上面說過了只要支持RTMP流傳輸協議的播放器均可以收看到咱們的直播。下面舉兩個例子吧： （1）window端播放器VLC 
（2）Android端播放器ijkplayer ijkplayer的使用請參考Android ijkplayer的使用解析
private void initPlayer() {
player = new PlayerManager(this);
player.setFullScreenOnly(true);
player.setScaleType(PlayerManager.SCALETYPE_FILLPARENT);
player.playInFullScreen(true);
player.setPlayerStateListener(this);
player.play("rtmp://192.168.1.104:1935/live/12345");
}
Rtmp Push Demo下載地址
手寫鬥魚直播
連接: https://pan.baidu.com/s/11UXm... 提取碼: jm92
有問題，或者想相互討論共同窗習交流的歡迎加入個人QQ交流羣765080964。有flutter—底層開發-性能優化—移動架構—資深UI工程師 —NDK-人工智能相關專業人員和視頻教學資料 。後續還有最新鴻蒙系統相關內容分享。羣號：765080964進羣分享免費視頻教學，面試精選
- 1. Android移動端音視頻的快速開發教程（十）
- 2. 三分鐘，帶你瞭解Android音`視頻開發進階
- 3. 十分鐘帶你瞭解分佈式的Session解決方案
- 4. 5分鐘帶你瞭解,爲什麼要學HTML5大前端！
- 5. Android移動端音視頻的快速開發教程（八）
- 6. Android移動端音視頻的快速開發教程（九）
- 7. Android移動端音視頻的快速開發教程（二）
- 8. Android移動端音視頻的快速開發教程（五）
- 9. Android移動端音視頻的快速開發教程（一）
- 10. Android移動端音視頻的快速開發教程（四）
- 更多相關文章...
- • SQL 快速參考 - SQL 教程
- • Eclipse 快速修復 - Eclipse 教程
- • 爲了進字節跳動，我精選了29道Java經典算法題，帶詳細講解
- • PHP開發工具
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. python的安裝和Hello，World編寫
- 2. 重磅解讀：K8s Cluster Autoscaler模塊及對應華爲雲插件Deep Dive
- 3. 鴻蒙學習筆記2（永不斷更）
- 4. static關鍵字 和構造代碼塊
- 5. JVM筆記
- 6. 無法啓動 C/C++ 語言服務器。IntelliSense 功能將被禁用。錯誤: Missing binary at c:\Users\MSI-NB\.vscode\extensions\ms-vsc
- 7. 【Hive】Hive返回碼狀態含義
- 8. Java樹形結構遞歸（以時間換空間）和非遞歸（以空間換時間）
- 9. 數據預處理---缺失值
- 10. 都要2021年了，現代C++有什麼值得我們學習的？