寫給小白的實時音視頻技術入門提綱

時間 2019-11-29

標籤寫給白的實時音視頻技術入門提綱简体版

原文原文鏈接

本文來自七牛雲Android 多媒體開發工程師盧俊的技術分享，即時通信網有改動。php

一、前言

這是由一篇個人演講稿整理出來的文章，目標讀者是對實時音視頻開發感興趣可是又不知道如何下手的初學者們，但願把個人經驗分享出來，對你們有所幫助。html

學習交流：數據庫

- 即時通信開發交流3羣：185926912[推薦]編程

- 移動端IM開發入門文章：《新手入門一篇就夠：從零開發移動端IM》小程序

（本文同步發佈於：http://www.52im.net/thread-1620-1-1.html）微信小程序

二、關於「我」

<ignore_js_op>
盧俊：七牛雲直播客戶端團隊技術負責人。擁有豐富的音視頻領域的開發和實戰經驗，前後開發過Android播放SDK /推流SDK，短視頻SDK，並主導了七牛連麥系統的設計和實現。服務過上百家直播客戶，包括熊貓、全民、龍珠、汽車之家、懂球帝等。安全

四、成長的煩惱

常常收到一些網友的來信或者留言，反饋以下這樣的困惑：微信

「我是一名應屆畢業生，該如何快速地成長起來」「我只懂 C/C++，是學 Android 開發有前途，仍是 iOS 開發有前途？」「我是一名 Android/iOS 開發，已經能夠獨立完成一個完整的 App 開發上線，該如何繼續提高？」「我想從事音視頻開發，該如何入門？如何進階？」網絡

很高興看到你們有這樣的問題，由於這也從側面反映了你是一個積極向上，想不斷努力來提高本身的人。

我就先從一個簡單的問題聊起，「到底 Android 開發有前途仍是 iOS 開發有前途？」

其實這個問題跟「PHP 是否是世界上最好的語言同樣」，只會引起爭論，卻沒有什麼實際價值，在我看來，不管是 Windows、Linux、Android 仍是 iOS 開發，都沒有什麼優劣之分。

它們其實都有着不少的共同點，那就是：

1）都是基於操做系統提供的 API 完成特定需求的實現
固然，也有些不一樣的地方，好比：
2）系統的 API 和特性不一樣
3）編程語言不一樣，Windows/Linux 以 C/C++ 爲主，Android 以 Java 爲主，iOS 以 Object C 爲主等等。

但不管什麼平臺，他們的學習曲線實際上是相似的，都要經歷差很少以下的環節：

1）學習對應平臺的編程語言，如：C/C++，Java，Object C，Javascript 等；
2）熟悉對應平臺提供的 API，如：UI 庫，網絡，文件，數據庫，圖片處理，多媒體處理等等；
3）掌握平臺相關的特性、框架和原理，如：Windows 的 WINSOCK，ODBC，WPF 等，Unix 的設計哲學，Android 的四大組件，iOS 的 MVC 模式等等；
4）經過具體的項目，熟悉和練手，達到可完成任意功能的開發。

當你已經走到第 4 步了後，每每就會感受遇到了瓶頸，產生如文章開頭的問題，下一步何去何從？

其實我一直有一個觀點，就是：

「基於平臺的 API 作應用開發，並非一個能夠走得多遠的方向，真正有價值的地方在於與具體的業務方向結合」。

具體點說，好比：

1）網絡安全；
2）音視頻；
3）智能硬件；
4）深度學習；
5）大數據；
6）其餘（好比：金融、通訊等）。

在具體的業務領域，你能夠慢慢沉澱下來，用本身的努力和時間換來對領域知識的深刻理解和積累，逐漸從一個開發小白走向最懂這個行業的專家。

今天呢，我就主要跟你們分享下，若是你對實時音視頻這個領域感興趣，應該如何入門和提升？

五、實時音視頻開發包括哪些技術內容

雖然一篇文章沒法把音視頻開發的知識點都介紹清楚，可是大概的學習路線仍是能夠梳理一下的，咱們先看看下面這張圖：
<ignore_js_op>

其實說白了，音視頻開發，就是要掌握圖像、音頻、視頻的基礎知識，而且學會如何對它們進行採集、渲染、處理、傳輸等一系列的開發和應用。

具體的技術內容以下：

採集：它解決的是，數據從哪裏來的問題；
渲染：它解決的是，數據怎麼展示的問題；
處理：它解決的是，數據怎麼加工的問題；
傳輸：它解決的是，數據怎麼共享的問題。

每個門類，均可以深挖，衍生出一個又一個充滿技術挑戰的話題，好比：如何更高效地渲染畫面、如何提升音視頻的壓縮比，如何優化弱網下的音視頻數據傳輸等等。

其實，音視頻開發的技術積累，也沒有那麼難，帶着問題去 Google，帶着任務去實踐，一切都不是問題，咱們就從上面說的 4 個方向，逐個探索一下，有哪些知識點，是要咱們去了解和掌握的。

無論怎麼說，實時音視頻開發方面的理論基礎是必需要有所瞭解的，好比如下系列文章：

另外，《移動端實時音視頻直播技術詳解》這個系列文章能很好地對應上我剛說的這些技術點，建議讀一讀：

咱們分別具體來看看採集、渲染、處理、傳輸等技術點。

六、具體技術點之採集

採集，它解決的是，數據從哪裏來的問題，那麼，數據究竟從哪裏來的呢？

<ignore_js_op>

其實不管在哪一個平臺，圖像、視頻最初都是來自攝像頭，而音頻最初都是來自麥克風，所以，作音視頻採集，就要掌握以下的技術知識。

1）系統的攝像頭採集接口是什麼，怎麼用？

好比：

Windows：DirectShow
Linux：V4L2
Android：Camera
iOS：AVCaptureSession

2）系統的攝像頭採集的參數怎麼配置，都是什麼含義？

好比：分辨率、幀率、預覽方向、對焦、閃光燈等。

3）系統的攝像頭輸出的圖像/視頻數據，是什麼格式，不一樣格式有什麼區別？

好比：圖片：JPEG，視頻數據：NV21，NV12，I420 等

4）系統的麥克風採集接口是什麼，怎麼用？

好比：

Windows：DirectShow
Linux：ALSA & OSS
Android：AudioRecord
iOS：Audio Unit

5）系統的麥克風採集參數怎麼配置，都是什麼含義？

好比：採樣率，通道號，位寬等

6）系統的麥克風輸出的音頻數據，是什麼格式？

好比：PCM

七、具體技術點之渲染

渲染，它解決的是，數據怎麼展示的問題，那麼，數據究竟怎麼展示呢？

<ignore_js_op>

其實不管在哪一個平臺，圖像、視頻最終都是要繪製到視圖上面，而音頻最終都是要輸出到揚聲器，所以，作音視頻渲染，就要掌握以下的技術知識。

1）系統提供了哪些 API 能夠繪製一張圖片或者一幀 YUV 圖像數據的？

好比：

Windows：DirectDraw, Direct3D, GDI，OpenGL 等
Linux： GDI， OpenGL 等
Android：ImageView，SurfaceView，TextureView，OpenGL 等
iOS： CoreGraphics，OpenGL 等

2）系統提供了哪些 API 能夠播放一個 mp3 或者 pcm 數據？

好比：

Windows：DirectSound 等
Linux：ALSA & OSS 等
Android：AudioTrack 等
iOS： AudioQueue 等

八、具體技術點之處理

處理，它解決的是，數據怎麼加工的問題，那麼，數據究竟能夠怎麼加工呢？

首先，咱們看看圖像/音視頻的數據能夠作哪些加工？

<ignore_js_op>

其實不管在哪一個平臺，圖像和音視頻的加工，除了系統的 API，大多數都會依賴一些跨平臺的第三方庫的，經過掌握這些第三方庫的原理和使用方法，基本上就能夠知足平常音視頻處理工做了。

這些庫包括但不限於：

1）圖像處理：OpenGL，OpenCV，libyuv，ffmpeg 等；
2）視頻編解碼：x264，OpenH264，ffmpeg 等；
3）音頻處理：speexdsp，ffmpeg 等；
4）音頻編解碼：libfaac，opus，speex，ffmpeg 等。

所以，學習和掌握這些第三方庫的使用，很是有必要。（以上這些第3方庫的詳細介紹和盤點，詳見《福利貼：最全實時音視頻開發要用到的開源工程彙總》）

九、具體技術點之傳輸

傳輸，它解決的是，數據怎麼共享的問題，那麼，數據究竟怎麼共享呢？

共享，最重要的一點，就是協議。

我以爲互聯網之因此可以如此蓬勃地發展，將整個世界都緊密聯繫在一塊兒，實際上是離不開 W3C 這個委員會的巨大貢獻的，由於不管什麼數據，要想在不一樣的國家、不一樣設備之間互聯互通，離不開「標準」，有了「標準」，你們就能互相讀懂對方。

所以，研究音視頻傳輸，其實就是在研究協議，具體有哪些協議呢？