C#使用FFmpeg的總結

上篇文章提到FFmpeg解決項目中視頻和語音問題,說道C#和FFmpeg不得不提的2個類庫。html

一、Xabe.FFmpeghtml5

簡單查看了下源碼和demo,發現基於ffmpeg.exe的命令行參數進行處理。git

二、FFmpeg.AutoGen github

把C語言對外API和類型翻譯成C#的API和對象。緩存

看了一下這個源碼生成,其中使用了CppSharp來生成g.cs的文件,而後在編譯g.cs文件。網絡

這2類庫進行對比,第一個相對簡單,第二個處理相對複雜,固然功能也強大。app

最終選擇FFmpeg.AutoGen ,經過API方式控制靈活度更好,更能知足本身的個性需求(推流要實現暫停和繼續推流功能)。測試

FFmpeg.AutoGen源碼不是每一個版本都保留github上,最好克隆到本身項目中,不一樣版本的API差異仍是有很大,穩定一個版本後即便有小問題,有源代碼能夠本身修改一下。操作系統

項目中手機和電腦視頻採用的是rtmp方式推流,如今本身總結一下.net

開始說只須要視頻,當時就網上搜索一下 http://www.javashuo.com/article/p-krlfsaji-cm.html

在這個基礎稍微整理改進一下,交給客戶。然而沒有過多久提出新需,須要顯示聲音,爲了解決這個問題花費很多時間

解決方式記錄以下:

1、使用ffplay.exe播放聲音,一直報錯沒有效果。


2、使用Vlc.DotNet能正常播放視頻和語音,可是聲音延遲7秒,隨着時間加長 有時候都延遲50多秒,

     另外在觀看視頻時候 隨時須要保存到本地,還須要單獨請求地址,明顯不符合要求。


3、在播放視頻基礎上,使用sdl2.Net播放聲音,死活沒有效果 。


4、參考網絡C++代碼,寫C++動態庫讓C#來調用

    C#調用C++代碼,先簡單總結下後面準備寫個博客,有兩種常見方式調用 :

    一、調用純粹的C++庫裏面對外API ,即C#使用[DllImport("Test.dll")]方式。

    二、調用託管C++的庫,即C#直接引用。C++裏面添加一個類調用原始C++的方法,即建立一個類來簡單包裝一下。

  開始用第一種方式調用,就會出現屢次調用視頻報錯問題,改成第二種方式new對象解決了第一種的問題,但又發現好多其餘問題, 好比不一樣操做系統 須要生成不一樣的dll, 不該該選擇debug版本不然在不一樣電腦表現不同,最關鍵的是有些沒有及時釋放,視頻10分鐘後就崩了,總之對C++瞭解很少會遇到各類問題,被坑怕了。


5、網上找了一個C++封裝的播放器和者推流器而後提供給C#使用。

      該播放器是基於ffmpeg來實現的,播放器3萬,推流器也是3萬,覈算一下以爲不是很划算,由於我如今遇到問題僅僅是聲音沒法播放,而項目也不是很着急還有一段時間,也想挑戰一下本身。


6、主角上場,使用FFmpeg.AutoGen來操做API

   實在沒有更好的方法,決定用C#來進行,由於ffmpeg用C#的資料真的太少了,開始以前知道確定比較費勁,想作的完美些就硬着頭皮來幹。通過一些時間努力實現了這些功能,很自豪的是這個視頻播放器延遲特別低,感受是0延遲若是說有延遲基本也在1秒內左右,比市場上不少播放都快,好比這個著名播放器 PotPlayer。


    採用第六種方式後交給客戶,客戶很滿意,而後客戶給他們的客戶部署在生產環境中運行,客戶的客戶遇到一個問題 蘋果手機發送的語音,在電腦上播放是娃娃音。測試開發的時候是用安卓手機,由於手機端使用html5開發,發佈成app一樣的代碼就沒有仔細測試蘋果手機。在安卓手機沒有任何問題完美實現功能, 到了蘋果手機上就不行,心中一千個擦尼瑪,蘋果這樣坑開發者喜歡搞特殊 。後來發現採樣率不同特別是蘋果比較低的採樣率(32000)有這個問題,44100和48000常見的沒有問題,通過一段時間研究纔給解決掉。


後續準備寫一些列文章來總結一下基於FFmpeg.AutoGen實現推流和拉流的功能,已經實現的功能主要包括下面

拉流方面:

1、C# FFmpeg播放rtmp視頻(Bitmap或者BitmapSource來展現圖像)

2、C# FFmpeg使用SDL2方式播放rtmp視頻

3、C#FFmpeg使用NAudio方式播放rtmp音頻。

4、C#FFmpeg使用SDL2方式播放rtmp音頻。

5、C#FFmpeg實現rtmp播放器 NAudio播放聲音和(Bitmap或者BitmapSource來展現圖像)。

6、C# FFmpeg使用SDL2實現rtmp播放器

7、C#FFmpeg本地mp3,mp4文件播放(兩種方式SDL2和NAudio)

8、C#FFmpeg邊播放rtmp視頻,邊保存到本地文件。

拉流播放主要有兩個難點 

一、播放器播放網絡rtmp地址 聲音和視頻不一樣步

二、C#FFmpeg播放本地文件,使用NAudio播放聲音緩存問題,

    因爲本地解析很快緩存清理過致使快播放不完整,不清理緩存容易搞爆,好比播放60分鐘的mp3文件。


推流方面:

1、C#FFmpeg使用API推攝像頭和麥克風到rtmp遠程地址

2、C#FFmpeg使用API推桌面和麥克風到rtmp遠程地址

3、C#FFmpeg使用API推本地文件MP4,mkv到rtmp遠程地址.

4、C#FFmpeg使用API邊推流預覽邊保存本地文件

5、C#FFmpeg推流實現暫停功能

相關文章
相關標籤/搜索