如今有不少第三方的SDK來作直播，那麼咱們改選擇哪種？

如今大部分的都會藉助第三方的直播技術，這樣能夠保證直播的質量，趣拍直播就很不錯，SDK很好集成，芒果直播也在用。下面來分析一下趣拍直播的一些心得。

如何快速搭建一個完整的手機直播系統

在這個直播如火如荼的時代，各大雲服務提供商也站到了時代的風口上，所以，如何選擇產品和服務快速搭建直播系統，我想應該是衆多創業者最關心的問題了，下面會跟你們一一分享。

咱們先看下搭建一個完整的手機直播都包含哪些必須的環節：推流端（採集、前處理、編碼、推流），服務端處理（轉碼、錄製、截圖、鑑黃），播放器（拉流、解碼、渲染）、互動系統（聊天室、禮物系統、贊）。

手機直播推流端須要作哪些工做？

直播推流端即主播端，主要經過手機攝像頭採集視頻數據和麥克風採集音頻數據，通過一系列前處理、編碼、封裝，而後推流到CDN進行分發。

採集

手機直播SDK經過手機攝像頭和麥克風直接採集視頻數據和音頻數據。其中,視頻採樣數據通常採用RGB或YUV格式、音頻採樣數據通常採用PCM格式。對於採集到的原始音視頻的體積是很是大的，所以須要通過壓縮技術來處理，下降視頻的大小來提示傳輸效率。 在手機視頻採集方面，iOS系統在硬件的兼容性方面作得比較好，系統自己提供了比較完整的視頻採集的接口，使用起來也比較簡單。可是，Android系統就比較麻煩了，千奇百怪的機型都有，適配起來很是難。咱們在初期作了一項調研，發現Android的適配率還不到50%。

前處理

在這個環節主要處理美顏、水印、模糊等效果。特別是美顏功能幾乎是直播的標配功能，沒有美顏的直播主播們根本提不起興趣。咱們見過太多case是由於沒有美顏功能被拋棄使用的。另外國家明確提出了，全部直播都必須打有水印並回放留存15天以上。因此，在選擇直播SDK時，沒有美顏和水印功能基本就能夠選擇放棄了。

美顏其實是經過算法去識別圖像中的皮膚部分，再對皮膚區域進行色值調整。一般狀況下人的膚色與周邊環境色調存在較大差別，經過顏色對比，找到皮膚的基本輪廓，進一步進行膚色檢查還能夠肯定人臉範圍。找到了皮膚的區域，能夠進行色值調整、添加白色圖層或調整透明度等來等來達到美白效果。美顏除了美白效果還須要磨皮功能，磨皮實際上就是用模糊濾鏡實現的。濾鏡有不少種，如高斯濾波，雙邊濾波，導向濾波，到底選擇什麼樣的模糊濾鏡各家也有本身的喜愛。

在美顏處理方面，最著名的GPUImage提供了豐富的效果，同時能夠支持IOS和Android，還支持本身寫算法實現本身最理性的效果。GPUImage本事內置了120多種常見濾鏡效果，添加濾鏡只須要簡單調用幾行代碼就能夠了，好比你們能夠試試使用GPUImageBilateralFiter的雙邊濾波濾鏡來處理基本的磨皮效果，想要實現更理想的效果仍是要經過自定義算法去實現的，各家也都有本身一套算法。

編碼

爲了便於手機視頻的推流、拉流以及存儲，一般採用視頻編碼壓縮技術來減小視頻的體積。如今比較經常使用的視頻編碼是H.264，但具備更高性能的H.265編碼技術正在飛速發展，並可能很快成爲主流；在音頻方面，通比較經常使用的是用AAC編碼格式進行壓縮，其它如MP三、WMA也是可選方案。視頻通過編碼壓縮大大提升了視頻的存儲和傳輸效率，固然，通過壓縮後的視頻在播放時必須進行解碼。通俗點講就是編碼器將多張圖像進行編碼後產生一段段GOP（Group of Pictures），播放時解碼器讀取一段段GOP進行解碼後讀取圖像並進行渲染顯示。 在編碼方面的核心是在分辨率、碼率、幀率等參數中找到最佳平衡點，達到體積最小畫面最優的效果，這些參數各家也都有本身的一套核心參數。

2012年8月，愛立信公司推出了首款H.265編解碼器，六個月後，國際電聯(ITU)就正式批准經過了HEVC/H.265標準，稱之爲高效視頻編碼(High Efficiency Video Coding)，相較於以前的H.264標準有了至關大的改善，作到了僅須要原來一半帶寬便可播放相同質量的視頻，低於1.5Mbps的網絡也能傳輸1080p的高清視頻。國內，如阿里雲、金山雲都在推本身的H.265編解碼技術，隨着直播的快速發展和對帶寬的依賴，H.265編解碼技術已有全面取代H.264的趨勢。固然，全面推開應用還須要些時間。
另外，硬件編碼已經成爲手機直播的首選方案，軟編碼處理在720p以上的視頻頹勢很是明顯。在IOS平臺上硬件編碼的兼容性比較好，能夠直接採用，但在 Android 平臺上，Android的MediaCodec 編碼器，針對不一樣的芯片平臺表現差別仍是很是大的，要徹底實現全平臺兼容的成本仍是很是高的。

推流

要想用於推流還必須把音視頻數據使用傳輸協議進行封裝，變成流數據。經常使用的流傳輸協議有RTSP、RTMP、HLS等，使用RTMP傳輸的延時一般在1–3秒，對於手機直播這種實時性要求很是高的場景，RTMP也成爲手機直播中最經常使用的流傳輸協議。最後經過必定的Qos算法將音視頻流數據推送到網絡斷，經過CDN進行分發。 在直播場景中，網絡不穩定是很是常見的，這時就須要Qos來保證網絡不穩狀況下的用戶觀看直播的體驗，一般是經過主播端和播放端設置緩存，讓碼率均勻。另外，針對實時變化的網絡情況，動態碼率和幀率也是最經常使用的策略。

固然，在網絡傳輸方面所有本身來作基本不現實，找提供推流服務的CDN服務商提供解決方案是最好的選擇，可參考文章開頭介紹的雲視頻服務商。據瞭解，阿里雲是國內惟一能自研CDN緩存服務器的廠商，性能仍是很是有保障的。一般，大多數直播平臺都會同時接入多個視頻雲服務提供商，這樣能夠作拉流線路互備，對推流後視頻集羣再進行優化也可提升直播的流暢性和穩定性。

服務端處理須要作哪些工做？

要想適配各終端和平臺，服務端還須要對流進行轉碼，如支持RTMP、HLS、FLV等格式拉流，支持一路轉多路適配不一樣網絡和分辨率的終端設備。另外，像如今必備的鑑黃功能也須要服務端完成。

截圖、錄製、水印

像阿里雲、金山雲、UCloud等雲服務商都提供了實時轉碼技術將用戶推流碼率較高（好比720P）實時轉化成較低清晰度（好比360P）的流以適應播放端的需求。若是要本身搭建實時轉碼系統，這個成本是極高的。一臺8核設備只能實時轉10 路流，若是一個正常的直播平臺有1000路流，那至少就須要100臺設備，加上後期的運維成本，通常公司就吃不消了。實時截圖功能和實時轉碼相似，只是通常單機能夠處理100路流。市面上雲服務提供商基本上都提供了服務端轉碼、截圖、錄製功能，建議選擇好的雲服務提供商便可，能夠節約大量成本。

鑑黃

2016年，4月14日上午10時，文化部公佈了一則消息，鬥魚、虎牙、YY、熊貓TV、戰旗TV、龍珠直播、六間房、9158等網絡直播平臺因涉嫌提供含宣揚淫穢、暴力、教唆犯罪等內容的互聯網文化產品，被列入查處名單。文化部已部署相關執法機構查處涉案企業，將及時公佈處罰結果。在前期的野蠻生長後，國家介入管制必定程度上遏制了直播的發展速度，但更有利於直播行業打造健康的生態，進入良性發展。這也意味着直播行業鑑黃成了必須環節，使用技術手段去鑑黃是手機直播平臺必然採用的方案。
市面上提供鑑黃服務的方案主要有兩種，第一種是對視頻進行截圖，而後對圖片進行鑑黃，返回鑑黃結果和分值。典型的企業有阿里（綠網）、圖譜科技，他們目前都支持直接傳入視頻，通過服務端分析返回結果，鑑黃的結果分爲色情、疑似色情、正常或性感，並對每種結果進行打分。一般由業務系統接入鑑黃服務，根據鑑黃結果對直播流進行控制，如切斷直播流、禁用用戶的帳號等。第二種是和CDN結合，直接對直播流進行分析，識別結果也分爲色情、疑似色情、性感和正常，業務系統根據識別結果直接控制直播流。典型的企業是Viscovery，這套方案的優勢是實時性保證比較好，缺點是必須部署到CDN或本身的機房，使用成本相對高一些。

趣拍微視頻雲服務做爲一站式直播解決方案提供商，咱們的主旨是讓用戶以最短期、最小成本接入直播服務。所以，用戶只需在控制檯對鑑黃服務進行配置就能夠針對每一個應用，每一路直播流進行實時審覈，審覈內容包括色情、暴恐、時政敏感等。在控制檯中，趣拍微視頻服務實時將鑑黃結果返回，用戶能夠直接查看色情直播和違規界面的截圖，同時能夠對直播流進行控制，切斷問題直播流。咱們提供了短信、郵件和站內信提供功能，避免漏洞一個非法視頻，給平臺形成損失。數據統計功能讓用戶能夠把握平臺最新的動態信息，爲進一步採起必要的措施提供可靠的依據。同時，爲了知足用戶定製化需求，咱們還提供了豐富的接口，能夠很方便的將鑑黃服務接入到本身的業務系統。

播放器端須要作哪些工做？

在播放器端如何作到秒開，在直播過程當中保證畫面和聲音清晰度的同時，穩定、流程、無卡頓的直播流量，這些工做都須要播放器端配合服務端來作優化，作到精確調度。

拉流

拉流實際是推流的逆過程。首先經過播放端獲取碼流，標準的拉流格式有RTMP、HLS、FLV等。RTMP是Adobe的專利協議，開源軟件和開源庫都支持的比較好，如開源的librtmp庫，播放端只要支持flashPlayer的就能很是簡單的播放RTMP直播，直播延遲通常在1–3秒。HLS是蘋果提出的基於HTTP的流媒體傳輸協議，HTML5能夠直接打開播放，經過微信、QQ等軟件分享出去，用戶也能夠直接觀看直播，能夠說手機直播app，HLS拉流協議是必須支持的，缺點是延遲一般大於10秒。FLV（HTTP-FLV）協議是使用HTTP協議傳輸流媒體內容的一個協議，也不用擔憂被Adobe的專利綁架，直播延遲一樣能夠作到1–3秒。

趣拍微視頻雲服務的直播拉流提供了RTMP、HLS、FLV三種格式，知足不一樣業務場景的需求，如對即時性要求較高或有互動需求的能夠採用RTMP或FLV格式進行直播拉流播放；對於有回放或跨平臺需求的，推薦使用HLS。固然，三種協議是能夠同時使用的，分別用到本身的場景就能夠了。

解碼和渲染

拉流獲取封裝的視頻數據後，必須經過解碼器解碼、渲染後才能在播放器上播放。它是編碼的逆過程，是指從音視頻的數據中提取原始數據。前面介紹的H.264和H.265編碼格式都是有損壓縮，因此在提取後的原始數據，並不是原始採樣數據，存在必定的信息丟失。所以，在視頻體積最小的狀況下經過各類編碼參數保留最好的原始畫面，成爲了各視頻公司的核心機密。

考慮對高清的支持，解碼確定仍是要選擇硬解碼的。前面介紹過，IOS系統因爲硬件比較單1、比較封閉，支持的比較好，Android系統因爲平臺差別很是大，編解碼要徹底兼容各平臺還須要不少工做要作。

渲染最大的難點不在與畫面繪製，而在於畫音同步，業內大部分直播平臺在這塊作的都仍是不夠的。咱們在這方面積累了一些經驗和你們分享。

手機直播中的交互系統

手機直播中最多見的交互有聊天室（彈幕）、點贊、打賞和禮物等，有些比較有特點的手機直播平臺也加入了和主播互動的遊戲功能。交互系統涉及消息的實時性和互動性，在技術實現上大可能是使用IM的功能來實現的，對服務器的壓力也是比較大。 對於在線人數比較多的房間，彈幕消息量是很是大，主播與用戶其實都看不過來，爲了緩解服務器壓力，在產品策略能夠作一些必要的優化，好比對於發送消息的頻率進行限制或對每條消息發送對象的上限進行限制等。

聊天室

手機直播中的彈幕交互功能已經成爲直播必不可少的部分，是用戶和主播互動的主要方式。手機直播中的彈幕實際上就是IM中的聊天室功能。聊天室和羣聊功能相似，但聊天室的消息是不須要分發給不在線的用戶的，對於歷史消息也不須要查看，用戶只有進入聊天室後才能查看聊天消息和羣成員信息。要面對複雜多變的網絡情況，還須要根據用戶位置就近選擇近對應運營商的單線機房接入彈幕消息服務，讓彈幕更及時。固然，能夠根據團隊狀況選擇本身搭建仍是選擇第三方的聊天服務。

趣拍直播SDK提供豐富的聊天室功能和接口，以最簡單的方式對接本身的聊天系統或第三方的聊天系統。

禮物系統

禮物系統已經是絕大多數手機直播平臺的標配了，它是這些平臺主要的收入來源。在手機直播平臺上咱們經常能夠見到土豪秒榜、土豪對刷的情景，據報道，明星直播一場禮物收入幾十萬也是常有的事，一年千萬收入的網紅也很多，可見國內有禮物消費習慣的土豪還很多。另外一方面，送禮物的形式加強了用戶和主播之間的互動交流，也是主播依賴平臺的最主要緣由。

禮物的收發在技術實現上也是用聊天室接口作的，一般採用IM中的自定義消息實現，當用戶收到或發送禮物時將自定義消息對應的禮物圖形渲染出來。另外，面對大量用戶刷禮物時，禮物系統對一致性要求就比較高了，因此在實現上存一份數據建多條索引是一種很好的選擇，也能夠下降對事務的依賴。

手機直播的前景

手機直播行業如今如此火熱，咱們認爲這個火熱會在很長一段時間內持續，而且在將來經過和各行業的整合，會成爲具備無限可能性的行業。因此直播SDK的選擇也成爲一些企業的轉折點，就好比趣拍直播SDK吧，擁有視頻開發行業長達10年的歷史，和阿里雲、支付寶、釘釘、芒果直播有着緊密的合做，關於趣拍直播的雲服務和技術老是能跑在行業的前面，選擇趣拍直播SDK是一種信任。

往主要緣由包括以下幾點：

第一，手機直播的UGC生產模式比PC端的直播更明顯，人人都有設備，隨時隨地開播，徹底順應了互聯網時代的開放性原則，全民直播時代將內容生產潛力發揮到最大。現在，「網紅經濟」如此火熱，更是刺激更多人去創造和傳播優質內容。做爲網紅經濟的表明，papi醬融資1200萬，估值2億，廣告招標溝通會門票8000元/張，單條貼片廣告中標價2200萬，一個個數字都如此刺激大衆眼球。手機直播中的網紅價值也在被更多創業者重視，擁有極大的增漲空間。

第二，網絡帶寬和速度在逐漸提升，網絡成本在逐漸降低，4G乃至從此的5G也會像今天的有線網絡那麼廉價，爲手機直播提供一個極佳的發展環境。技術的發展，手機能夠承載的內容也就越豐富，文字、聲音、視頻、遊戲等都會在手機直播中呈現，創造更加豐富的用戶體驗。各行業均可以將直播做爲一種工具接入到本身的應用中，教育、社交、電商、金融等行業均可以經過手機直播形式開展新業務，加強與用戶之間的互動，提升用戶粘性。好比，教育領域中的課後輔導徹底能夠以直播的形式開展業務，電商也可藉助直播讓用戶挑選商品，促進銷售。

第三，一個與VR/AR技術相結合的手機直播爲整個行業的將來提供了新的發展空間。VR/AR直播可以讓用戶身臨其境，帶動主播與觀衆更貼切真實的互動，大大提升平臺的用戶參與度。更加創新的硬件設備與直播的結合，如穿戴設備，更加豐富的傳感器，更方便的採集信息，也將會大大拓展手機直播將來的應用場景。哪家公司若是在VR/AR和穿戴設備上取得突破性進展勢必會在直播行業取得領先地位。

總之，手機直播欣欣向榮的發展已經是必然趨勢，儘管國家層級在增強管控、內容創做上還比較單一，紅海一片搏死拼殺，可是它的將來是一個具備無限可能的超級市場，這個領域必然將會誕生千億市值的巨頭。

播推流端即主播端，主要經過手機攝像頭採集視頻數據和麥克風採集音頻數據，通過一系列前處理、編碼、封裝，而後推流到CDN進行分發。