【miscellaneous】各類音視頻編解碼學習詳解

編解碼學習筆記(一):基本概念

媒體業務是網絡的主要業務之間。尤爲移動互聯網業務的興起,在運營商和應用開發商中,媒體業務分量極重,其中媒體的編解碼服務涉及需求分析、應用開發、釋放license收費等等。最近由於項目的關係,須要理清媒體的codec,比較搞的是,在豆丁網上看運營商的規範 標準,同一運營商一樣的業務在不一樣文檔中不一樣的要求,並且有些要求就我看來應當是歷史的延續,也就是如今已經不多采用了。因此豆丁上看不出因此然,從 wiki上查。中文的wiki信息量有限,很短,而wiki的英文內容內多,刪減版也減肥得太過。我在網上還看到一個山寨的中文wiki,長得很像,紅色的,叫「天下維客」。wiki的中文仍是很不錯的,可是閱讀後建議再閱讀英文。php

  我對媒體codec作了一些整理和總結,資料來源於wiki,小部分來源於網絡博客的收集。網友資料咱們將給出來源。若是資料已經轉手幾趟就沒辦法,雁過留聲,咱們只能給出某個軌跡。css

基本概念html

編解碼java

  編解碼器(codec)指的是一個可以對一個信號或者一個數據流進行變換的設備或者程序。這裏指的變換既包括將 信號或者數據流進行編碼(一般是爲了傳輸、存儲或者加密)或者提取獲得一個編碼流的操做,也包括爲了觀察或者處理從這個編碼流中恢復適合觀察或操做的形式的操做。編解碼器常常用在視頻會議和流媒體等應用中。ios

容器git

  不少多媒體數據流須要同時包含音頻數據和視頻數據,這時一般會加入一些用於音頻和視頻數據同步的元數據,例如字幕。這三種數據流可能會被不一樣的程序,進程或者硬件處理,可是當它們傳輸或者存儲的時候,這三種數據一般是被封裝在一塊兒的。一般這種封裝是經過視頻文件格 式來實現的,例如常見的*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta. 這些格式中有些只能使用某些編解碼器,而更多能夠以容器的方式使用各類編解碼器。程序員

  FourCC全稱Four-Character Codes,是由4個字符(4 bytes)組成,是一種獨立標示視頻數據流格式的四字節,在wav、avi檔案之中會有一段FourCC來描述這個AVI檔案,是利用何種codec來 編碼的。所以wav、avi大量存在等於「IDP3」的FourCC。算法

  視頻是如今電腦中多媒體系統中的重要一環。爲了適應儲存視頻的須要,人們設定了不一樣的視頻文件格式來把視頻和音頻放在一個文件中,以方便同時回放。視頻檔實際上都是一個容器裏面包裹着不一樣的軌道,使用的容器的格式關係到視頻檔的可擴展性。chrome

參數介紹數據庫

採樣率

  採樣率(也稱爲採樣速度或者採樣頻率)定義了每秒從連續信號中提取並組成離散信號的採樣個數,它用赫茲(Hz)來表示。採樣頻率的倒數叫做採樣週期或採樣時間,它是採樣之間的時間間隔。注意不要將採樣率與比特率(bit rate,亦稱「位速率」)相混淆。

  採樣定理代表採樣頻率必須大於被採樣信號帶寬的兩倍,另一種等同的說法是奈奎斯特頻率必須大於被採樣信號的帶寬。若是信號的帶寬是 100Hz,那麼爲了不混疊現象採樣頻率必須大於200Hz。換句話說就是採樣頻率必須至少是信號中最大頻率份量頻率的兩倍,不然就不能從信號採樣中恢復原始信號。

  對於語音採樣:

  • 8,000 Hz - 電話所用採樣率, 對於人的說話已經足夠
  • 11,025 Hz
  • 22,050 Hz - 無線電廣播所用採樣率
  • 32,000 Hz - miniDV 數碼視頻 camcorder、DAT (LP mode)所用採樣率
  • 44,100 Hz - 音頻 CD, 也經常使用於 MPEG-1 音頻(VCD, SVCD, MP3)所用採樣率
  • 47,250 Hz - Nippon Columbia (Denon)開發的世界上第一個商用 PCM 錄音機所用採樣率
  • 48,000 Hz - miniDV、數字電視、DVD、DAT、電影和專業音頻所用的數字聲音所用採樣率
  • 50,000 Hz - 二十世紀七十年代後期出現的 3M 和 Soundstream 開發的第一款商用數字錄音機所用採樣率
  • 50,400 Hz - 三菱 X-80 數字錄音機所用所用採樣率
  • 96,000 或者 192,000 Hz - DVD-Audio、一些 LPCM DVD 音軌、Blu-ray Disc(藍光盤)音軌、和 HD-DVD (高清晰度 DVD)音軌所用所用採樣率
  • 2.8224 MHz - SACD、 索尼 和 飛利浦 聯合開發的稱爲 Direct Stream Digital 的 1 位 sigma-delta modulation 過程所用採樣率。

  在模擬視頻中,採樣率定義爲幀頻和場頻,而不是概念上的像素時鐘。圖像採樣頻率是傳感器積分週期的循環速度。因爲積分週期遠遠小於重複所需時間,採樣頻率可能與採樣時間的倒數不一樣。

  • 50 Hz - PAL 視頻
  • 60 / 1.001 Hz - NTSC 視頻

  當模擬視頻轉換爲數字視頻的時候,出現另一種不一樣的採樣過程,此次是使用像素頻率。一些常見的像素採樣率有:

  • 13.5 MHz - CCIR 60一、D1 video

分辨率

  分辨率,泛指量測或顯示系統對細節的分辨能力。此概念能夠用時間、空間等領域的量測。平常用語中之分辨率多用於圖像的清晰度。分辨率越高表明圖像品質越好,越能表現出更多的細節。但相對的,由於紀錄的信息越多,文件也就會越大。目前我的電腦裏的圖像,能夠使用圖像 處理軟件,調整圖像的大小、編修照片等。例如 photoshop,或是photoimpact等軟件。

 圖像分辨率 :

  用以描述圖像細節分辨能力,一樣適用於數字圖像、膠捲圖像、及其餘類型圖像。經常使用'線每毫米'、 '線每英吋'等來衡量。一般,「分辨率」被表示成每個方向上的像素數量,好比640x480等。而在某些狀況下,它也能夠同時表示成「每英吋像素」 (pixels per inch,ppi)以及圖形的長度和寬度。好比72ppi,和8x6英吋。

 視頻分辨率 :

各類電視規格分辨率比較視 頻的畫面大小稱爲「分辨率」。數位視頻以像素爲度量單位,而類比視頻以水平掃瞄線數量爲度量單位。標清電視頻號分辨率爲 720/704/640x480i60(NTSC)或768/720x576i50(PAL/SECAM)。新的高清電視(HDTV)分辨率可達 1920x1080p60,即每條水平掃瞄線有1920個像素,每一個畫面有1080條掃瞄線,以每秒鐘60張畫面的速度播放。

畫面更新率fps

  Frame rate中文常譯爲「畫面更新率」或「幀率」,是指視頻格式每秒鐘播放的靜態畫面數量。典型的畫面更新率由早期的每秒6或8張(frame persecond,簡稱fps),至現今的每秒120張不等。PAL (歐洲,亞洲,澳洲等地的電視廣播格式) 與 SECAM (法國,俄國,部分非洲等地的電視廣播格式) 規定其更新率爲25fps,而NTSC (美國,加拿大,日本等地的電視廣播格式) 則規定其更新率爲29.97 fps。電影膠捲則是以稍慢的24fps在拍攝,這使得各國電視廣播在播映電影時須要一些複雜的轉換手續(參考Telecine轉換)。要達成最基本的視覺暫留效果大約須要10fps的速度。

壓縮方法

有損壓縮和無損壓縮

  在視頻壓縮中有損(Lossy )和無損(Lossless)的概念與靜態圖像中基本相似。無損壓縮也即壓縮前和解壓縮後的數據徹底一致。多數的無損壓縮都採用RLE行程編碼算法。有損 壓縮意味着解壓縮後的數據與壓縮前的數據不一致。在壓縮的過程當中要丟失一些人眼和人耳所不敏感的圖像或音頻信息,並且丟失的信息不可恢復。幾乎全部高壓縮的算法都採用有損壓縮,這樣才能達到低數據率的目標。丟失的數據率與壓縮比有關,壓縮比越小,丟失的數據越多,解壓縮後的效果通常越差。此外,某些有損壓 縮算法採用屢次重複壓縮的方式,這樣還會引發額外的數據丟失。

  • 無損格式,例如WAV,PCM,TTA,FLAC,AU,APE,TAK,WavPack(WV)
  • 有損格式,例如MP3,Windows Media Audio(WMA),Ogg Vorbis(OGG),AAC

幀內壓縮和幀間壓縮

  幀內(Intraframe)壓縮也稱爲空間壓縮 (Spatial compression)。當壓縮一幀圖像時,僅考慮本幀的數據而不考慮相鄰幀之間的冗餘信息,這實際上與靜態圖像壓縮相似。幀內通常採用有損壓縮算法,因爲幀內壓縮時各個幀之間沒有相互關係,因此壓縮後的視頻數據仍能夠以幀爲單位進行編輯。幀內壓縮通常達不到很高的壓縮。

  採用幀間(Interframe)壓縮是基於許多視頻或 動畫的連續先後兩幀具備很大的相關性,或者說先後兩幀信息變化很小的特色。也即連續的視頻其相鄰幀之間具備冗餘信息,根據這一特性,壓縮相鄰幀之間的冗餘量就能夠進一步提升壓縮量,減少壓縮比。幀間壓縮也稱爲時間壓縮(Temporalcompression),它經過比較時間軸上不一樣幀之間的數據進行壓縮。幀間壓縮通常是無損的。幀差值(Frame differencing)算法是一種典型的時間壓縮法,它經過比較本幀與相鄰幀之間的差別,僅記錄本幀與其相鄰幀的差值,這樣能夠大大減小數據量。

對稱編碼和不對稱編碼

  對稱性(symmetric)是壓縮編碼的一個關鍵特 徵。對稱意味着壓縮和解壓縮佔用相同的計算處理能力和時間,對稱算法適合於實時壓縮和傳送視頻,如視頻會議應用就以採用對稱的壓縮編碼算法爲好。而在電子出版和其它多媒體應用中,通常是把視頻預先壓縮處理好,爾後再播放,所以能夠採用不對稱(asymmetric)編碼。不對稱或非對稱意味着壓縮時須要花費大量的處理能力和時間,而解壓縮時則能較好地實時回放,也即以不一樣的速度進行壓縮和解壓縮。通常地說,壓縮一段視頻的時間比回放(解壓縮)該視頻的時間 要多得多。例如,壓縮一段三分鐘的視頻片段可能須要10多分鐘的時間,而該片段實時回放時間只有三分鐘。

除wiki外的資料來源:http://tech.lmtw.com/csyy/Using/200411/3142.html

 

 

 

編解碼學習筆記(二):codec類型

資料(港臺將information翻譯爲資料)壓縮是透過去除資料中的冗餘資訊而達成。就視訊資料而言,資料中的冗餘資訊能夠分紅四類:

時間上的冗餘資訊(temporal redundancy)
  在視訊資料中,相鄰的幀(frame)與幀之間一般有很強的關連性,這樣的關連性即爲時間上的冗餘資訊。這便是上一次學習中的幀間壓縮。

空間上的冗餘資訊(spatial redundancy)
  在同一張幀之中,相鄰的像素之 間一般有很強的關連性,這樣的關連性即爲空間上的冗餘資訊。這便是上一次學習中的幀內壓縮。

統計上的冗餘資訊(statistical redundancy)
  統計上的冗餘資訊指的是欲編碼的符號(symbol)的機率分佈是不均勻(non-uniform)的。

感知上的冗餘資訊(perceptual redundancy)
  感知上的冗餘資訊是指在人在觀看視訊時,人眼沒法察覺的資訊。

 

  視訊壓縮(英文:Video compression)是指運用資料壓縮技術將數位視訊資料中的冗餘資訊去除,下降表示原始視訊所需的資料量,以便視訊資料的傳輸與儲存。實際上,原始視訊資料的資料量每每過大,例如未經壓縮的電視品質視訊資料的位元率高達216Mbps,絕大多數的應用沒法處理如此龐大的資料量,所以視訊壓縮是必要的。目前最新的視訊編碼標準爲ITU-T視訊編碼專家組(VCEG)和ISO/IEC動態圖像專家組(MPEG)聯合組成的聯合視訊組(JVT,Joint Video Team)所提出的H.264/AVC。

  一個典型的視訊編碼器:在進行當前信號編碼時,編碼器首先會產生對當前信號作預測的信號,稱做預測信號(predicted signal),預測的方式能夠是時間上的預測(interprediction),亦即便用先前幀的信號作預測,或是空間上的預測 (intra prediction),亦即便用同一張幀之中相鄰像素的信號作預測。獲得預測信號後,編碼器會將當前信號與預測信號相減獲得殘餘信號(residual signal),並只對殘餘信號進行編碼,如此一來,能夠去除一部份時間上或是空間上的冗餘資訊。接着,編碼器並不會直接對殘餘信號進行編碼,而是先將殘餘信號通過變換(一般爲離散餘弦變換)而後量化以 進一步去除空間上和感知上的冗餘資訊。量化後獲得的量化係數會再透過熵編碼,去除統計上的冗餘資訊。

視訊編碼標準發展

年份

標準

制定組織

解除版權保護
(DRM-free )

主要應用

1984

H.120

ITU-T

 

1990

H.261

ITU-T

視訊會議視訊通話

1993

MPEG-1 第二部份

ISO /IEC

影音光碟(VCD )

1995

H.262/MPEG-2 第二部份

ISO / IECITU-T

DVD影碟DVD-Video )、藍光Blu-Ray )影碟、數位視訊廣播(DVB )、SVCD

1996

H.263 [6]

ITU-T

 

視訊會議視訊通話3G 手機視訊(3GP )

1999

MPEG-4 第二部份

ISO /IEC

 

2003

H.264/MPEG-4 AVC [1]

ISO / IECITU-T

藍光Blu-Ray )影碟、數位視訊廣播(DVB )、iPod 視訊、高畫質DVDHD DVD )

常見的編解碼見下表,在之後會分類論述:

視頻codec

ISO/IEC

MJPEG · Motion JPEG 2000 · MPEG-1 · MPEG-2 (Part 2 )· MPEG-4 (Part 2/ASP · Part 10/AVC)· HVC

ITU-T

H.120 · H.261 · H.262 · H.263 · H.264 · H.265

其它

AMV · AVS · Bink · CineForm · Cinepak · Dirac · DV · Indeo · Microsoft Video 1 · OMS Video ·Pixlet · RealVideo · RTVideo · SheerVideo · Smacker · Sorenson Video & Sorenson Spark ·Theora · VC-1 · VP3 · VP6 · VP7 · VP8 · WMV

音頻 codec

ISO/IECMPEG

MPEG-1 Layer III (MP3) · MPEG-1 Layer II · MPEG-1 Layer I · AAC · HE-AAC · MPEG-4 ALS ·MPEG-4 SLS · MPEG-4 DST

ITU-T

G.711 · G.718 · G.719 · G.722 · G.722.1 · G.722.2 · G.723 · G.723.1 · G.726 · G.728 · G.729 ·G.729.1

其它

AC-3 · AMR · AMR-WB · AMR-WB+ · Apple Lossless · ATRAC · DRA · DTS · FLAC · GSM-HR ·GSM-FR · GSM-EFR · iLBC · Monkey's Audio · TTA (True Audio)· MT9 · μ-law · Musepack ·Nellymoser · OptimFROG · OSQ · RealAudio · RTAudio · SD2 · SHN · SILK · Siren · Speex ·TwinVQ · Vorbis · WavPack · WMA

圖像壓縮

ISO/IEC/ITU-T

JPEG · JPEG 2000 · JPEG XR · lossless JPEG · JBIG · JBIG2 · PNG · WBMP

Others

APNG · BMP · DjVu · EXR · GIF · ICER · ILBM · MNG · PCX · PGF · TGA · TIFF

媒體容器

通用

3GP · ASF · AVI · Bink · BXF · DMF · DPX · EVO · FLV · GXF · M2TS · Matroska · MPEG-PS ·MPEG-TS · MP4 · MXF · Ogg · QuickTime · RealMedia · RIFF · Smacker · VOB

只用於音頻

AIFF · AU· WAV

上面的表格,查看某個具體的codec,能夠在中文的wiki中查找,可是英文的wiki諮詢更爲豐富,見下表

Multimedia compression formats

Video compression

ISO/IEC

MJPEG · Motion JPEG 2000 · MPEG-1 · MPEG-2 (Part 2 )· MPEG-4 (Part 2/ASP · Part 10/AVC )· HEVC

ITU-T

H.120 · H.261 · H.262 · H.263 · H.264 · HEVC

Others

AMV · AVS · Bink · CineForm · Cinepak · Dirac · DV · Indeo · Microsoft Video 1 · OMS Video · Pixlet · RealVideo · RTVideo · SheerVideo · Smacker · Sorenson Video & Sorenson Spark · Theora · VC-1 · VP3 · VP6 · VP7 · VP8 · WMV

Audio compression

ISO/IEC

MPEG-1 Layer III (MP3) · MPEG-1 Layer II · MPEG-1 Layer I · AAC · HE-AAC · MPEG-4 ALS · MPEG-4 SLS · MPEG-4 DST · MPEG-4 HVXC · MPEG-4 CELP

ITU-T

G.711 · G.718 · G.719 · G.722 · G.722.1 · G.722.2 · G.723 · G.723.1 · G.726 · G.728 ·G.729 · G.729.1

Others

AC-3 · AMR · AMR-WB · AMR-WB+ · Apple Lossless · ATRAC · DRA · DTS · FLAC ·GSM-HR · GSM-FR · GSM-EFR · iLBC · Monkey's Audio · TTA (True Audio)· MT9 · μ-law · Musepack · Nellymoser · OptimFROG · OSQ · RealAudio · RTAudio · SD2 · SHN ·SILK · Siren · Speex · TwinVQ · Vorbis · WavPack · WMA

Image compression

ISO /IEC /ITU-T

JPEG · JPEG 2000 · JPEG XR · lossless JPEG · JBIG · JBIG2 · PNG · WBMP

Others

APNG · BMP · DjVu · EXR · GIF · ICER · ILBM · MNG · PCX · PGF · TGA · QTVR· TIFF

Media containers

ISO/IEC

MPEG-PS · MPEG-TS · MPEG-4 Part 12 /JPEG 2000 Part 12 · MPEG-4 Part 14

ITU-T

H.222.0

Others

3GP and 3G2 · ASF · AVI · Bink · DivX Media Format · DPX · EVO · Flash Video · GXF ·M2TS · Matroska · MXF · Ogg · QuickTime · RealMedia · REDCODE RAW · RIFF ·Smacker · MOD and TOD · VOB · WebM

Audio only

AIFF · AU · WAV

 

編解碼學習筆記(三):Mpeg系列——Mpeg 1和Mpeg 2

MPEG是Moving Picture Experts Group的簡稱。這個名字原本的含義是指一個研究視頻和音頻編碼標準的小組。如今咱們所說的MPEG泛指又該小組制定的一系列視頻編碼標準。該小組於 1988年組成,至今已經制定了MPEG-一、MPEG-二、MPEG-三、MPEG-四、MPEG-7等多個標準,MPEG-21正在制定中。

MPEG到目前爲止已經制定並正在制定如下和視頻相關的標準:

  • MPEG-1: 第一個官方的視訊音訊壓縮標準,隨後在Video CD中被採用,其中的音訊壓縮的第三級(MPEG-1 Layer 3)簡稱MP3, 成爲比較流行的音訊壓縮格式。
  • MPEG-2: 廣播質量的視訊、音訊和傳輸協議。被用於無線數位電視-ATSC、DVB以及ISDB、數字衛星電視(例如DirecTV)、 數字有線電視信號,以及DVD視頻光盤技術中。
  • MPEG-3: 本來目標是爲高解析度電視(HDTV)設計,隨後發現MPEG-2已足夠HDTV應用,故 MPEG-3的研發便停止。
  • MPEG- 4:2003 年發佈的視訊壓縮標準,主要是擴展MPEG-一、MPEG-2等標準以支援視訊/音訊物件(video/audio "objects")的編碼、3D內容、低位元率編碼(low bitrate encoding)和數位版權管理(Digital Rights Management),其中第10部分由ISO/IEC和ITU-T聯合發佈,稱爲H.264/MPEG-4 Part 10。參見H.264。
  • MPEG-7:MPEG-7並非一個視訊壓縮標準,它是一個多媒體內容的描述標準。
  • MPEG-21:MPEG-21是一個正在制定中的標準,它的目標是爲將來多媒體的應用提供一個完整的平臺。

  媒體codec在於MPEG-1,MPEG-2,MPEG-4,如上圖所示。

圖中名稱解釋:在圖中DVD地球人都知道,何爲DVB?

DVB:數字視頻廣播(DVB, Digital VideoBroadcasting),是由「DVB Project」維護的一系列爲國際所認可的數字電視公開標準。DVB系統傳輸方式有以下幾種:

·        衛星電視(DVB-S 及 DVB-S2)

·        有線電視(DVB-C)

·        無線電視(DVB-T)

·        手持地面無線(DVB-H)

這些標準定義了傳輸系統的物理層與數據鏈路層。設備經過同步並行接口(synchronous parallel interface, SPI),同步串行接口(synchronous serial interface, SSI),或異步串行接口(asynchronousserial interface, ASI)與物理層交互。數據以MPEG-2傳輸流的方式傳輸,並要求符合更嚴格的限制(DVB-MPEG)。對移動終端即時壓縮傳輸數據的標準(DVB- H)目前正處於測試之中。

這些傳輸方式的主要區別在於使用的調製方式,由於不一樣它們應用的頻率帶寬的要求不一樣。利用高頻載波的DVB-S使用QPSK調製方式,利用低頻載波的DVB-C使用QAM-64 調製方式,而利用VHF 及 UHF載波的DVB-T使用COFDM調製方式。

除音頻與視頻傳輸外,DVB也定義了帶回傳信道(DVB-RC)的數據通訊標準(DVB-DATA)。

DVB的codec,視頻爲:MPEG-2,MPEG-4 AVC;音頻爲:MP3,AC-3,AAC,HE-AAC。

MPEG-1

  MPEG-1做爲ISO/IEC11172正式發佈。

  MPEG-1較早的視頻編碼,質量比較差,主要用於 CD-ROM 存儲視頻,國內最爲你們熟悉的就是 VCD(Video CD),他的視頻編碼就是採用 MPEG-1。它是爲CD光盤介質定製的視頻和音頻壓縮格式。一張70分鐘的CD光盤傳輸速率大約在1.4Mbps。而 MPEG-1採用了塊方式的運動補償、離散餘弦變換(DCT)、量化等技術,併爲1.2Mbps傳輸速率進行了優化。MPEG-1 隨後被Video CD採用做爲內核技術。MPEG-1的輸出質量大約和傳統錄像機VCR,信號質量至關,這也許是Video CD在發達國家未獲成功的緣由。

  MPEG-1音頻分三層,就是MPEG-1 Layer I, II, III,其中第三層協議也就是MPEG- 1 Layer 3,簡稱MP3。MP3目前已經成爲普遍流傳的音頻壓縮技術。

MPEG-1有下面幾個部分:

  • 第一部分(Part 1):系統;
  • 第二部分(Part 2):視頻;
  • 第三部分(Part 3):音頻;定義level1,level2,level3,並在MPEG-2中定義了擴展。
  • 第四部分(Part 4):一次性測試;
  • 第五部分(Part 5):參考軟件;

MPEG-1的缺點:

  • 1個音頻壓縮系統限於兩個通道(立體聲)
  • 沒有爲隔行掃描視頻提供標準化支持,且壓縮率差
  • 只有一個標準化的「profile」 (約束參數比特流), 不適應 更高分辨率的視頻。MPEG - 1能夠支持4k的視頻,但難以提供更高分辨率的視頻編碼而且標識硬件的支持能力。
  • 支持只有一個顏色空間,4:2:0。

MPEG-2

MPEG-2內容介紹

  MPEG-2做爲ISO/IEC 13818正式發佈,一般用來爲廣播信號提供視頻和音頻編碼,包括衛星電視、有線電視等。MPEG-2通過少許修改後,也成爲DVD產品的內核技術。

  MPEG-2有11部分,具體以下:

第一部(Part 1):系統-描述視頻和音頻的同步和多路技術

  正式名稱是 ISO/IEC 13818-1或 ITU-T中的H.222.0

  MPEG-2的系統描述部分(第1部分)定義了傳輸流,它用來一套在非可靠介質上傳輸數字視頻信號和音頻信號的機制,主要用在廣播電視領域。

  定義了兩個不一樣但相關的容器格式,MPEG transport stream和MPEG program stream,也就是圖中的TS和PS。MPEG傳輸流(TS)爲攜帶可損數字視頻和音頻,媒體流的開始和結束能夠不標識出來,就像廣播或者磁帶,其中的 例子包括ATSC,DVB,SBTVD 和HDV。MPEG-2系統還定義了MPEG節目流(PS),它爲以文件爲基礎的媒體設計一個容器格式,用於 硬盤驅動器,光盤 和閃存。

   MPEG-2 PS(節目流)是爲在存儲介質保存視頻信息而開發的。 MPEG-2 TS(傳輸流)是爲在網絡傳輸視頻信息而開發的。目前,MPEG-2 TS最普遍地應用是DVB系統。TS流與PS流的區別在於TS流的包結構是固定度的,而PS流的包結構是可變長度。 PS包與TS包在結構上的這種差別,致使了它們對傳輸誤碼具備不一樣的抵抗能力,於是應用的環境也有所不一樣。TS碼流因爲採用了固定長度的包結構,當傳輸誤 碼破壞了某一TS包的同步信息時,接收機可在固定的位置檢測它後面包中的同步信息,從而恢復同步,避免了信息丟失。而PS包因爲長度是變化的,一旦某一 PS包的同步信息丟失,接收機沒法肯定下一包的同步位置,就會造 成失步,致使嚴重的信息丟失。所以,在信道環境較爲惡劣,傳輸誤碼較高時,通常採用TS碼流;而在信道環境較好,傳輸誤碼較低時,通常採用PS碼流因爲 TS碼流具備較強的抵抗傳輸誤碼的能力,所以目前在傳輸媒體中進行傳輸的MPEG-2碼流基本上都採用了TS碼流的包格。

第二部(Part 2):視頻-視頻壓縮

  正式名稱是 ISO/IEC 13818-2或 ITU-T H.262。

  提供隔行掃描和非隔行掃描視頻信號的壓縮編解碼器。

  MPEG-2的第二部分即視頻部分和MPEG-1相似,可是它提供對隔行掃描視頻顯示模式的支持(隔行掃描普遍應用在廣播電視領域)。MPEG-2視頻並無對低位速率(小於1Mbps)進行優化,在 3Mbit/s及以上位速率狀況下,MPEG-2明顯優於MPEG-1。 MPEG-2向後兼容,也便是說,全部符合標準的MPEG-2解碼器也可以正常播放MPEG-1視頻流。

  MPEG-2技術也應用在了HDTV傳輸系統中。MPEG-2 不光運用於 DVD-Video ,如今大部 分 HDTV(高清電視)也採用 MPEG-2 編碼,分辨率達到了 1920x1080。因爲 MPEG-2 的普及,原本爲 HDTV 準備 的 MPEG-3 最終宣告放棄。

  MPEG-2視頻一般包含多個GOP(GroupOf Pictures),每個GOP包含多個幀(frame)。幀的幀類(frame type)一般包括I-幀(I-frame)、P-幀(P-frame)和B-幀(B-frame)。其中I-幀採用幀內編碼,P-幀採用前向估計,B- 幀採用雙向估計。通常來講輸入視頻格式是25(CCIR標準)或者29.97(FCC)幀/秒。

  MPEG-2支持隔行掃描和逐行掃描。在逐行掃描模式下,編碼的基本單元是幀。在隔行掃描模式下,基本編碼能夠是幀,也能夠是場(field)。

  原始輸入圖像首先被轉換到YCbCr顏色空間。其中Y是亮度,Cb和Cr是兩個色度通道。 Cb指藍色色 度,Cr指紅色色度。對於每一通道,首先採用塊分區,而後造成「宏塊」(macroblocks),宏塊構成了編碼的基本單元。每個宏塊再分 區成8x8的小塊。色度通道分區成小塊的數目取決於初始參數設置。例如,在經常使用的4:2:0格式下,每一個色度宏塊只採樣出一個小塊,因此三個通道宏塊可以 分區成的小塊數目是4+1+1=6個。

  對於I-幀,整幅圖像直接進入編碼過程。對於P-幀和B-幀,首先作運動補償。一般來講,因爲相鄰幀之間的相關 性很強,宏塊能夠在前幀和後幀中對應相近的位置找到類似的區域匹配的比較好,這個偏移量做爲運動向量被記錄下來,運動估計重構的區域的偏差被送到編碼器中編碼。

  對於每個8×8小塊,離散餘弦變換把圖像從空間域轉換到頻域。獲得的變換系數被量化並從新組織排列順序,從而增長長零的可能性。以後作遊程編碼(run-length code)。最後做哈夫曼編碼(Huffman Encoding)。

  I幀編碼是爲了減小空間域冗餘,P幀和B幀是爲了減小時間域冗餘。

  GOP是由固定模式的一系列I幀、P幀、B幀組成。經常使用的結構由15個幀組成,具備如下形式 IBBPBBPBBPBBPBB。GOP中各個幀的比例的選取和帶寬、圖像的質量要求有必定關係。例如由於B幀的壓縮時間多是I幀的三倍,因此對於計算 能力不強的某些實時系統,可能須要減小B幀的比例。

  MPEG-2輸出的比特流能夠是勻速或者變速的。最大比特率,例如在DVD應用上,可達10.4 Mbit/s。若是要使用固定比特率,量化尺度就須要不斷的調節以產生勻速的比特流。可是,提升量化尺度可能帶來可視的失真效果。好比馬賽克現象。

第三部(Part 3):音頻-音頻壓縮

  MPEG-2的第三部分定義了音頻壓縮標準。MPEG-2 BC(Backwards compatible),後向兼容MPEG-1音頻。該部分改進了MPEG-1的音頻壓縮,支持兩通道以上的音頻,可高達5.1多聲道。MPEG-2音頻 壓縮部分也保持了向後兼容的特色(也稱爲MPEG - 2 BC),容許的MPEG - 1音頻解碼器解碼兩個主立體聲組件。還定義音頻MPEG-1 Layer I,II ,III額外的比特率和採樣頻率。

  例如mp2,是MPEG-1 Audio level 2,標準有:ISO/IEC 11172-3, ISO/IEC 13818-3。MPEG-1Layer II 定義在 ISO/IEC 11172-3,也就是MPEG-1的第三部分,在 ISO/IEC 13818-3,也就是MPEG-2的第3部分定義擴展。

第四部(Part 4):測試規範

  描述測試程序。

第五部(Part 5):仿真軟件

  描述軟件仿真系統。

第六部(Part 6):DSM-CC(Digital Storage Media Commandand Control)擴展

  描述DSM-CC(數字存儲媒體命令及控制)擴展。

第七部(Part 7):Advanced Audio Coding (AAC)

  MPEG-2的第七部分定義了不能向後兼容的音頻壓縮(也成爲MPEG-2 NBC)。也成爲MPEG-2 NBC(not-backwards compatible MPEG-1Audio)。該部分提供了更強的音頻功能。一般咱們所說的MPEG-2 AAC指的就是這一部分。AAC即Advanced Audio Coding。 AAC是比之前的MPEG音頻標準的效率,並在某個程度上沒有它的前任MPEG-1 Layer3(MP3)複雜,它沒有複雜的混合濾波器(hybrid filter bank)。它支持從1到48個通道,採樣率從8-96千赫,多渠道,多語種和多節目(multiprogram)能力。AAC也在MPEG-4標準的第 3部分描述。

第八 部(Part 8):

   已取消。

第九部(Part 9):實時接口擴展

  實時接口擴展。

第十部(Part 10):DSM-CC一致性擴展

  DSM-CC一致性擴展。

第十一部(Part 11) :IP

  知識產權管理(IPMP)。XML定義在ISO/IEC23001-3。MPEG-2內核技術大約涉及640個專利,這些專利主要集中在20間公司和一間大學。

MPEG- 2音頻

  MPEG- 2提供新的音頻編碼方式。在第3部分和第7部分介紹。

第三部分

  MPEG-2 BC (backward compatible with MPEG-1 audio formats),使用一半的取樣速率處理低位速率的音頻,(MPEG-1 Layer 1/2/3 LSF),多通道編碼達到5.1個通道。

第七部分

  MPEG-2 NBC (Non-Backward Compatible),提供MPEG-2AAC,且不能向後兼容, 多通道編碼達到 48個通道。

MPEG- 2 profile和level

  MPEG-2提供普遍的應用, 對於大部分的應用,即不現實的也過於昂貴,去支持整個標準,一般只支持子集,所以標準定義了profile和level來表示這些子集。profile定 義特性相關,例如壓縮算法,色度格式等。level定義性能相關,例如最大比特率,最大幀大小等。一個應用程序應當經過profile和level來表示 他的能力。profile和level的組合構成MPEG-2視頻編碼標準在某種特定應用下的子集。對某一輸入格式的圖像,採用特定集合的壓縮編碼工具,產生規定速率範圍內的編碼碼流 。 例如一臺DVD播放機能夠說,它支持最多的主要profile和主要level(一般寫爲MP@ML)。

  MPEG-2主要的profile:

名稱

英文

中文

圖像編碼類型

色度格式 YCbCr

長寬比

伸縮模式

SP

Simple Profile

簡單類

I幀、P幀

4:2:0

4:3或16:9

 

MP

Main Profile

主類

I幀、P幀、B幀

4:2:0

4:3 或16:9

 

SNR

SNR Scalable profile

信噪比分層類

I幀、P幀、B幀

4:2:0

4:3 或16:9

信噪比可伸縮

Spatial

Spatially scalable profile

空間可分層類

I幀、P幀、B幀

4:2:0

4:3 或16:9

信噪比或空間可伸縮

442P

4:2:2 Profile

 

I幀、P幀、B幀

4:2:2

   

HP

High profile

高類

I幀、P幀、B幀

4:2:0或 4:2:2

4:3 或16:9

信噪比或空間可伸縮

  MPEG-2主要的level:

名稱

英文

幀頻

最大長×最大寬

每秒最大亮度樣本 (約爲高×寬×幀頻率)

最大比特率 (Mbit/s)

LL

Low Level

23.976, 24, 25, 29.97, 30

352×288

3,041,280

4

ML

Main Level

23.976, 24, 25, 29.97, 30

720×576

10,368,000,例外爲:HP中4:2:0爲14,475,600,4:2:2爲11,059,200

15

H-14

High-1440 level

23.976, 24, 25, 29.97, 30, 50, 59.94, 60

1440×1152

47,001,600,例外爲:HP中4:2:0爲62,668,800

60

HL

High level

23.976, 24, 25, 29.97, 30, 50, 59.94, 60

1920×1152

62,668,800,例外爲:HP中4:2:0爲83,558,400

80

組合例子

Profile @ Level

Resolution (px)

Framerate max. (Hz)

Sampling

Bitrate (Mbit/s)

Example Application

SP@LL

176 × 144

15

4:2:0

0.096

Wireless handsets

SP@ML

352 × 288

15

4:2:0

0.384

PDAs

320 × 240

24

MP@LL

352 × 288

30

4:2:0

4

Set-top boxes (STB)

MP@ML

720 × 480

30

4:2:0

15 (DVD: 9.8)

DVD, SD-DVB

720 × 576

25

MP@H-14

1440 × 1080

30

4:2:0

60 (HDV: 25)

HDV

1280 × 720

30

MP@HL

1920 × 1080

30

4:2:0

80

ATSC 1080i, 720p60, HD-DVB (HDTV).

(Bitrate for terrestrial transmission is limited to 19.39Mbit/s)

1280 × 720

60

422P@LL

   

4:2:2

   

422P@ML

720 × 480

30

4:2:2

50

Sony IMX using I-frame only, Broadcast "contribution" video (I&P only)

720 × 576

25

422P@H-14

1440 × 1080

30

4:2:2

80

Potential future MPEG-2-based HD products from Sony and Panasonic

1280 × 720

60

422P@HL

1920 × 1080

30

4:2:2

300

Potential future MPEG-2-based HD products from Panasonic

1280 × 720

60

MPEG- 2在DVD上的應用

DVD中採用了 MPEG-2標準並引入以下技術參數限制:
* 分辨率
o 720 x 480, 704 x 480, 352 x 480, 352 x 240 像素(NTSC制式)
o 720 x 576, 704 x 576, 352 x 576, 352 x 288 像素(PAL制式)
* 縱橫比
o 4:3
o 16:9
* 幀率(幀播放速度)
o 59.94 場/秒,23.976幀/秒,29.97幀/秒(NTSC)
o 50 場/秒,25幀/秒(PAL)
* 視頻+音頻 比特率
o 平均最大緩衝區 9.8 Mbit/s
o 峯值 15 Mbit/s
o 最小值 300 Kbit/s
* YUV 4:2:0
* 字幕支持
* 內嵌字幕支持(NTSC only)
* 音頻
o LPCM編碼:48kHz或96kHz;16或24-bit;最多可達6聲道
o MPEG Layer 2 (MP2):48 kHz,可達5.1聲道
o 杜比數字-Dolby Digital(DD,也稱爲AC-3):48 kHz,32-448kbit/s,可達5.1聲道
o 數字家庭影院系統-Digital Theater Systems (DTS):754 kbit/s或1510 kbit/s
o NTSC制式DVD必須包含至少一道LPCM或Dolby Digital
o PAL制式DVD必須包含至少一道MPEG Layer 二、LPCM或者Dolby Digital
* GOP結構
o 必須爲GOP提供串行的頭信息
o GOP最大可含幀數目:18 (NTSC) / 15 (PAL)

MPEG- 2在DVB上的應用

DVB-MPEG相關技術參數:
* 必須符合如下一種分辨率:
o 720 × 480 像素,24/1.001,24,30/1.001或30幀/秒
o 640 × 480 像素,24/1.001,24,30/1.001或30幀/秒
o 544 × 480 像素,24/1.001,24,30/1.001或30幀/秒
o 480 × 480 像素,24/1.001,24,30/1.001或30幀/秒
o 352 × 480 像素,24/1.001,24,30/1.001或30幀/秒
o 352 × 240 像素,24/1.001,24,30/1.001或30幀/秒
o 720 × 576 像素,25幀/秒
o 544 × 576 像素,25幀/秒
o 480 × 576 像素,25幀/秒
o 352 × 576 像素,25幀/秒
o 352 × 288 像素,25幀/秒

MPEG- 2和NTSC

必須符合如下一種分辨率:
o 1920 × 1080 像素,最多60幀/秒(1080i)
o 1280 × 720 像素,最多60幀/秒(720p)
o 720 × 576 像素,最多50幀/秒,25幀/秒(576i,576p)
o 720 × 480 像素,最多60幀/秒,30幀/秒(480i,480p)
o 640 × 480 像素,最多60幀/秒
注:1080i按 1920×1088像素編碼,可是最後8行在顯示時拋棄。

對YCbCr的補充資料

YCbCr不是一種絕對色彩空間,是YUV壓縮和偏移的版本。右圖爲UV色版。

Y(Luma,Luminance)視訊,也就是灰階值。UV 視做表示彩度的 C(Chrominance或Chroma)。主要的採樣(subsample)格式有YCbCr 4:2:0、YCbCr 4:2:二、YCbCr 4:1:1和 YCbCr 4:4:4。YUV的表示法稱爲 A:B:C 表示法:

* 4:4:4 表示徹底取樣。
* 4:2:2 表示 2:1 的水平取樣,沒有垂直下采樣。
* 4:2:0 表示 2:1 的水平取樣,2:1 的垂直下采樣。
* 4:1:1 表示 4:1 的水平取樣,沒有垂直下采樣。

最經常使用Y:UV記錄的比重一般 1:1 或2:1,DVD-Video 是以 YUV 4:2:0 的方式記錄,也就是咱們俗稱的I420,YUV4:2:0 並非說只有U(即 Cb), V(即 Cr)必定爲 0,而是指U:V互相援引,時見時隱,也就是說對於每個行,只有一個U或者V分量,若是一行是4:2:0的話,下一行就是4:0:2,再下一行是 4:2:0...以此類推。

以上來自wiki資料的整理。

編解碼學習筆記(四):Mpeg系列——Mpeg 4

在上次對MPEG-2的學習整理中,有一個疑惑,雙聲道理解,就是左右立體聲,可是5.1聲道是什麼?咱們常常看到杜比5.1聲道的說法。「0.1」聲道具體指什麼?今天去wiki查了一下,相關內容也整理入咱們的學習筆記。本文檔資料來源:

5.1聲道

  使用杜比數字技術下,最標準經常使用的是5.1聲道設置,但杜比數字允許一系列不一樣聲道的選擇。所有可供選擇的聲道以下列所示:

  • 單聲道(中央)
  • 雙聲道立體聲(左、右),選擇性地交叉應用杜比環回
  • 三聲道立體聲(左、中、右)
  • 雙聲道立體聲加單環回(左、右、環回)
  • 三聲道立體聲加單環回(左、中、右、環回)
  • 四聲道環回立體聲(左前、右前、左後、右後)
  • 五聲道環回立體聲(左前、中、右前、左後、右後)

  以上全部這些設置可選擇性地使用低頻效果和杜比數字EX矩陣編碼中加入附加後環繞聲道。杜比編碼技術是向下兼容 的,不少杜比播放器/解碼器均備有向下混音做用是發佈不一樣聲道至可供使用的揚聲器。這包括一些功能例如聲音數據經過前揚聲器播放(如適用),和當中央揚聲器不適用時發佈中央頻道至左或右揚聲器。或當用戶只有2.0喇叭時,杜比解碼器能把多聲道信號混音編碼爲 2.0立體聲。

  在5.1, 7.1 或其餘等文字中,'.1'指的是低頻LFE聲道。

  其實5.1聲道就是使用5個喇叭和1個超低音揚聲器來實現一種身臨其境的音樂播放方式,它是由杜比公司開發的,因此叫作「杜比5.1聲道」。在5.1聲道系統裏採用左(L)、中(C)、右(R)、左後(LS)、右後(RS)五個方向輸出聲音,令人產生猶如身臨音樂廳的感受。五個聲道相互獨立,其中「.1」 聲道,則是一個專門設計的超低音聲道。正是由於先後左右都有喇叭,因此就會產生被音樂包圍的真實感。如右圖所示。

MPEG-4

整體介紹

  MPEG-4是一套用於音頻、視頻信息的壓縮編碼標準, 由國際標準化組織(ISO)和國際電工委員會(IEC)下屬的「動態影像專家組」(Moving Picture Experts Group,即MPEG) 制定,初版在1998年10月通過,第二版在1999年12月通過。MPEG-4格式的主要用途在於網上流媒體、光碟、語音傳送(視訊電話),以及電視廣播。MPEG-4做爲ISO/IEC14496正式發佈。ISO/IEC 14496-Coding of audio-visual object (AV對象編碼)。

  爲了應對網絡傳輸等環境,傳統的 MPEG-1/2 已經不能適應,因此促使了 MPEG-4 的誕生。 與 MPEG-1和MPEG-2相比,MPEG-4的特色是其更適於交互AV服務以及遠程監控。MPEG-4是第一個使你由被動變爲主動(再也不只是觀看,容許 你加入其中,即有交互性)的動態圖像標準,它的另外一個特色是其綜合性。從根源上說,MPEG-4試圖將天然物體與人造物體相溶合 (視覺效果意義上的)。MPEG-4的設計目標還有更廣的適應性和更靈活的可擴展性。 MPEG-4 採用了一系列新技術,來知足在低帶寬下傳輸較高視頻質量的需求。DivX,XviD,MS MPEG4 都是採用的MPEG-4 視頻編碼,除了在 DVDRip 上面的應用,3GPP如今也接納了 MPEG-4 做爲視頻編碼方案。

  最初MPEG-4的主要目的是用於低比特率下的視頻通訊,可是做爲一個多媒體的編碼標準,它的範圍最後獲得了擴展。在技術方面MPEG-4容許不一樣的軟件/硬件開發商建立多媒體對象來提供更好的適應性、靈活性,爲數字電視,動態圖像,互聯網等業務提供更好的質量。  

  MPEG-4提供範圍從每秒幾k比特到每秒數十兆比特的,它具備下面功能:

  • 改善MPEG-2的編碼效率
    • MPEG-4基於更高的編碼效率。同已有的或即將造成的其它標準相比,在相同的比特率下,它基於更高的視覺聽覺質量,這就 使得在低帶寬的信道上傳送視頻、音頻成爲可能。同時MPEG-4還能對同時發生的數據流進行編碼。一個場景的多視角或多聲道數據流能夠高效、同步地合成爲 最終數據流。這可用於虛擬三維遊戲、三維電影、飛行仿真練習等。
  • 提供混合媒體數據(視頻,音頻,語音)的編碼能力
  • 差錯容忍使得內容穩定傳輸。
    • 當在傳輸有誤碼或丟包現象時,MPEG4受到的影響很小,而且能迅速恢復。
  • 提供受衆視聽場景的互動能力,MPEG-4終端用戶提供不一樣的對象支持各類互動要求。
    • MPEG-4提供了基於內容的多媒體數據訪問工具,如索引、超級連接、上傳、下載、刪除等。利用這些工具,用戶能夠方便地 從多媒體數據庫中有選擇地獲取本身所需的與對象有關的內容,並提供了內容的操做和位流編輯功能,可應用於交互式家庭購物,淡入淡出的數字化效果等。 MPEG-4提供了高效的天然或合成的多媒體數據編碼方法。它能夠把天然場景或對象組合起來成爲合成的多媒體數據。
  • MPEG-4對傳輸數據網是透明的,它能夠兼容各類網絡。
    • MPEG-4提供了易出錯環境的魯棒性,來保證其在許多無線和有線網絡以及存儲介質中的應用,此外,MPEG-4還支持基於內容的的可分級性,即把內容、質量、複雜性分紅許多小塊來知足不一樣用戶的不一樣需求,支持具備不一樣帶寬,不一樣存儲容量的傳輸信道和接收端。
    • 這些特色無疑會加速多媒體應用的發展,從中受益的應用領域有:因特網多媒體應用;廣播電視;交互式視頻遊戲;實時可視通 信;交互式存儲媒體應用;演播室技術及電視後期製做;採用面部動畫技術的虛擬會議;多媒體郵件;移動通訊條件下的多媒體應用;遠程視頻監控;經過ATM網 絡等進行的遠程數據庫業務等。

MPEG-4視頻編碼核心思想

  在MPEG-4制定以前,MPEG-一、MPEG-二、H.26一、H.263都是採用第一代壓縮編碼技術,着 眼於圖像信號的統計特性來設計編碼器,屬於波形編碼的範疇。第一代壓縮編碼方案把視頻序列按時間前後分爲一系列幀,每一幀圖像又分紅宏塊以進行運動補償和編碼,這種編碼方案存在如下缺陷:

  • 將圖像固定地分紅相同大小的塊,在高壓縮比的狀況下會出現嚴重的塊效應,即馬賽克效應;
  • 不能對圖像內容進行訪問、編輯和回放等操做;
  • 未充分利用人類視覺系統(HVS,Human Visual System)的特性。

  MPEG-4則表明了基於模型/對象的第二代壓縮編碼技術,它充分利用了人眼視覺特性,抓住了圖像信息傳輸的本質,從輪廓、紋理思路出發,支持基於視覺內容的交互功能,這適應了多媒體信息的應用由播放型轉向基於內容的訪問、檢索及操做的發展趨勢。

  AV對象(AVO,AudioVisual Object)是MPEG-4爲支持基於內容編碼而提出的重要概念。對象是指在一個場景中可以訪問和操縱的實體,對象的劃分可根據其獨特的紋理、運動、形狀、模型和高層語義爲依據。在MPEG-4中所見的視音頻已再也不是過去MPEG-一、MPEG-2中圖像幀的概念,而是一個個視聽場景(AV場景),這些 不一樣的AV場景由不一樣的AV對象組成。AV對象是聽覺、視覺、或者視聽內容的表示單元,其基本單位是原始AV對象,它能夠是天然的或合成的聲音、圖像。原 始AV對象具備高效編碼、高效存儲與傳輸以及可交互操做的特性,它又可進一步組成複合AV對象。所以MPEG-4標準的基本內容就是對AV對象進行高效編 碼、組織、存儲與傳輸。AV對象的提出,使多媒體通訊具備高度交互及高效編碼的能力,AV對象編碼就是MPEG-4的核心編碼技術。

  MPEG-4實現基於內容交互的首要任務就是把視頻/圖像分割成不一樣對象或者把運動對象從背景中分離出來,而後針對不一樣對象採用相應編碼方法,以實現高效壓縮。所以視頻對象提取即視頻對象分割,是MPEG-4視頻編碼的關鍵技術,也是新一代視頻編碼的研究熱點和難點。

  MPEG-4不只可提供高壓縮率,同時也可實現更好的多媒體內容互動性及全方位的存取性,它採用開放的編碼系統,可隨時加入新的編碼算法模塊,同時也可根據不一樣應用需求現場配置解碼器,以支持多種多媒體應用。

MPEG-4各部分

  MPEG-4由一系列的子標準組成,被稱爲部,包括如下的部分。對於媒體編解碼,重點關注Part2,Part 3, Part 10。

第一部(ISO/IEC 14496-1):系統

  描述視訊和音訊的同步以及混合方式(Multiplexing,簡寫爲MUX)。定義了 MP4 容器格式, 支持相似 DVD 菜單這樣的直觀和互動特性等。

第二部(ISO/IEC 14496-2):視頻

  定義了一個對各類視覺信息(包括視訊、靜止紋理、計算機合成圖形等等)的編解碼器。對視訊部分來講,衆多」Profiles」中很經常使用的一種是Advanced SimpleProfile (ASP),例如XviD編碼就 屬於MPEG-4Part 2。包括 3ivx, DivX4/Project Mayo, DivX 5, Envivio,ffmpeg/ffds, mpegable, Nero Digital, QuickTime, Sorenson, XviD 等常見的視頻格式, 須要注意的是 Divx 3.11, MS MPEG-4, RV9/10, VP6,WMV9 並不屬於標準的 MPEG-4 標準。

第三部(ISO/IEC 14496-3):音頻

  定義了一個對各類音訊信號進行編碼的編解碼器的集合。包括高級音訊編碼(Advanced Audio Coding,縮寫爲AAC) 的若干變形和其餘一些音頻/語音編碼工具。即 AAC 音頻標準, 包括 LCAAC, HE AAC 等, 支持 5.1 聲道編碼, 能夠用更低的碼率實現更好的效果 (相對於 MP3, OGG 等) 。

第四部(ISO/IEC 14496-4):一致性

  定義了對本標準其餘的部分進行一致性測試的程序。

第五部(ISO/IEC 14496-5):參考軟件

  提供了用於演示功能和說明本標準其餘部分功能的軟件。

第六部(ISO/IEC 14496-6):多媒體傳輸集成框架

  即DMIF:Delivery Multimedia IntegrationFramework

第七部(ISO/IEC 14496-7):優化的參考軟件

  提供了對實現進行優化的例子(這裡的實現指的是第五部分)。

第八部(ISO/IEC 14496-8):在IP網絡上傳輸

  定義了在IP網絡上傳輸MPEG-4內容的方式。

第九部(ISO/IEC 14496-9):參考硬件

  提供了用於演示怎樣在硬件上實現本標準其餘部分功能的硬件設計方案。

第十部(ISO/IEC 14496-10):進階視頻編碼,也即ITU H.264,常寫爲H.264/AVC

  或稱高級視頻編碼(Advanced Video Coding,縮寫爲AVC):定義了一個視頻編解碼器(codec),AVC和XviD都屬於MPEG-4編碼,但因爲AVC屬於MPEG-4Part 10,在技術特性上比屬於MPEG-4 Part2的XviD要先進。另外從技術上講,它和ITU-T H.264標準是一致的,故全稱爲MPEG-4 AVC/H.264。

第十一部(ISO/IEC 14496-11):場景描述和應用引擎

  可用於多種profile(包括2D和3D版本)的互交互媒體。修訂了MPEG-4 Part 1:2001以及Part1的兩個修訂方案。它定義了應用引擎(交付,生命週期,格式,可下載Java字節代碼應用程序的行爲),二進制場景格式 (BIFS:Binary Format for Scene),可擴展MPEG-4文本格式(一種使用XML描述MPEG-4多媒體內容的文本格式)系統level表述。也就是MPEG-4 Part21中的BIFS,XMT,MPEG-J。

第十二部(ISO/IEC 14496-12):基於ISO的媒體文件格式

  定義了一個存儲媒體內容的文件格式。

第十三部(ISO/IEC 14496-13):IP

  知識產權管理和保護(IPMP for Intellectual Property Management and Protection)拓展。

第十四部(ISO/IEC 14496-14):MPEG-4文件格式

  定義了基於第十二部分的用於存儲MPEG-4內容的視訊檔案格式。

第十五部(ISO/IEC 14496-15):AVC文件格式

  定義了基於第十二部分的用於存儲第十部分的視頻內容的文件格式。

第十六部(ISO/IEC 14496-16):動畫框架擴展

  動畫框架擴展(AFX : Animation Framework eXtension)。

第十七部(ISO/IEC 14496-17):同步文本字幕格式

  還沒有完成-2005年1月達成」最終委員會草案」,FCD: Final Committee Draft。

第十八部(ISO/IEC 14496-18):字體壓縮和流式傳輸(針對公開字體格式)。

第十九部(ISO/IEC 14496-19):綜合用材質流(Synthesized TextureStream)。

第二十部(ISO/IEC 14496-20):簡單場景表示

  LASeR for Lightweight Scene Representation,還沒有完成-2005年1月達成」最終委員會草案」,FCD for Final Committee Draft。

第二十一部(ISO/IEC 14496-21):用於描繪(Rendering)的MPEG-J拓展

  還沒有完成-2005年1月達成「委員會草案」,CD for Committee Draft)。

Profile和Level

  MPEG-4提供大量的編碼方式和豐富的設置。 和MPEG-2同樣,應用通常不可能支持MPEG-4全集,經過profile和level來描述子集。這些子集,經過 「profile」來代表解碼器要求,爲了不計算的複雜,每一個profile都有一個或者多個「level」。profile和level的有效組合使得編碼生成器只需實現標準中所需的子集,同時保持與其餘MPEG-4設備的互通。(解碼支持範圍一般比編碼支持範圍大),檢查其餘MPEG-4設備是否符 合標準,即一致性測試。

  對於H.264/AVC(也就是MPEG-4 Part 4)提供下面的profile:

Feature support in particular profiles

Feature

CBP

BP

XP

MP

HiP

Hi10P

Hi422P

Hi444PP

B slices

No

No

Yes

Yes

Yes

Yes

Yes

Yes

SI and SP slices

No

No

Yes

No

No

No

No

No

Flexible macroblock ordering (FMO)

No

Yes

Yes

No

No

No

No

No

Arbitrary slice ordering (ASO)

No

Yes

Yes

No

No

No

No

No

Redundant slices (RS)

No

Yes

Yes

No

No

No

No

No

Data partitioning

No

No

Yes

No

No

No

No

No

Interlaced coding (PicAFF, MBAFF)

No

No

Yes

Yes

Yes

Yes

Yes

Yes

CABAC entropy coding

No

No

No

Yes

Yes

Yes

Yes

Yes

8×8 vs. 4×4 transform adaptivity

No

No

No

No

Yes

Yes

Yes

Yes

Quantization scaling matrices

No

No

No

No

Yes

Yes

Yes

Yes

Separate Cb and Cr QP control

No

No

No

No

Yes

Yes

Yes

Yes

Monochrome (4:0:0)

No

No

No

No

Yes

Yes

Yes

Yes

Chroma formats

4:2:0

4:2:0

4:2:0

4:2:0

4:2:0

4:2:0

4:2:0/4:2:2

4:2:0/4:2:2/4:4:4

Sample depths (bits)

8

8

8

8

8

8 to 10

8 to 10

8 to 14

Separate color plane coding

No

No

No

No

No

No

No

Yes

Predictive lossless coding

No

No

No

No

No

No

No

Yes

  level用來代表一個profile的解碼器的性能要求的範圍,例如最大圖片分配了,幀頻,比特率等等。對於解碼器,一個指定的level要求能夠對該level以及低於該level的碼流進行解碼。(A decoder that conforms to agiven level is required to be capable of decoding all bitstreams that areencoded for that level and for all lower levels. 來源:http://en.wikipedia.org/wiki/H.264/MPEG-4_AVC

Levels with maximum property values

Level

Max macroblocks

Max video bit rate (VCL)

Examples for high resolution @ 
frame rate 
(max stored frames)

per second

per frame

BP, XP, MP 
(kbit/s)

HiP 
(kbit/s)

Hi10P 
(kbit/s)

Hi422P, Hi444PP 
(kbit/s)

1

1,485

99

64

80

192

256

128×96@30.9 (8) 
176×144@15.0 (4)

1b

1,485

99

128

160

384

512

128×96@30.9 (8) 
176×144@15.0 (4)

1.1

3,000

396

192

240

576

768

176×144@30.3 (9) 
320×240@10.0 (3) 
352×288@7.5 (2)

1.2

6,000

396

384

480

1,152

1,536

320×240@20.0 (7) 
352×288@15.2 (6)

1.3

11,880

396

768

960

2,304

3,072

320×240@36.0 (7) 
352×288@30.0 (6)

2

11,880

396

2,000

2,500

6,000

8,000

320×240@36.0 (7) 
352×288@30.0 (6)

2.1

19,800

792

4,000

5,000

12,000

16,000

352×480@30.0 (7) 
352×576@25.0 (6)

2.2

20,250

1,620

4,000

5,000

12,000

16,000

352×480@30.7(10) 
352×576@25.6 (7) 
720×480@15.0 (6) 
720×576@12.5 (5)

3

40,500

1,620

10,000

12,500

30,000

40,000

352×480@61.4 (12) 
352×576@51.1 (10) 
720×480@30.0 (6) 
720×576@25.0 (5)

3.1

108,000

3,600

14,000

17,500

42,000

56,000

720×480@80.0 (13) 
720×576@66.7 (11) 
1280×720@30.0 (5)

3.2

216,000

5,120

20,000

25,000

60,000

80,000

1,280×720@60.0 (5) 
1,280×1,024@42.2 (4)

4

245,760

8,192

20,000

25,000

60,000

80,000

1,280×720@68.3 (9) 
1,920×1,080@30.1 (4) 
2,048×1,024@30.0 (4)

4.1

245,760

8,192

50,000

62,500

150,000

200,000

1,280×720@68.3 (9) 
1,920×1,080@30.1 (4) 
2,048×1,024@30.0 (4)

4.2

522,240

8,704

50,000

62,500

150,000

200,000

1,920×1,080@64.0 (4) 
2,048×1,080@60.0 (4)

5

589,824

22,080

135,000

168,750

405,000

540,000

1,920×1,080@72.3 (13) 
2,048×1,024@72.0 (13) 
2,048×1,080@67.8 (12) 
2,560×1,920@30.7 (5) 
3,680×1,536@26.7 (5)

5.1

983,040

36,864

240,000

300,000

720,000

960,000

1,920×1,080@120.5 (16) 
4,096×2,048@30.0 (5) 
4,096×2,304@26.7 (5)

 

 

編解碼學習筆記(五):Mpeg系列——AAC音頻

 下面資料來自wiki。AAC在MPEG2和MPEG4中定義。

擴展名:.m4a, .m4b, .m4p, .m4v, .m4r, .3gp, .mp4, .aac 
互聯網媒體類型:audio/aac, audio/aacp, audio/3gpp, audio/3gpp2,audio/mp4, audio/MP4A-LATM, audio/mpeg4-generic
格式:有損數據壓縮 
延伸自:MPEG-2 音頻 
標準:ISO/IEC 13818-7(MPEG-2第7部), ISO/IEC 14496-3(MPEG-4第3部)

  AAC(Advanced Audio Coding),中文稱爲「高級音頻編碼」,出現於1997年,基於 MPEG-2的音頻編碼技術。由Fraunhofer IIS、杜比實驗室、AT&T、Sony(索尼)等公司共同開發,目的是取代MP3格式。2000年,MPEG-4標準出現後,AAC 從新集成了其特性,加入了SBR技術和PS技術,爲了區別於傳統的 MPEG-2 AAC 又稱爲 MPEG-4 AAC。

AAC格式的主要擴展名有三種:

  • AAC - 使用MPEG-2 Audio Transport Stream( ADTS,參見MPEG-2 )容器,區別於使用MPEG-4容器的MP4/M4A格式,屬於傳統的AAC編碼(FAAC默認的封裝,但FAAC亦可輸出 MPEG-4 封裝的AAC)
  • MP4 - 使用了MPEG-4 Part 14(第14部分)的簡化版即3GPP Media Release 6 Basic (3gp6,參見3GP ) 進行封裝的AAC編碼(Nero AAC 編碼器僅能輸出MPEG-4封裝的AAC);
  • M4A - 爲了區別純音頻MP4文件和包含視頻的MP4文件而由蘋果(Apple)公司使用的擴展名,Apple iTunes 對純音頻MP4文件採用了".M4A"命名。M4A的本質和音頻MP4相同,故音頻MP4文件亦可直接更改擴展名爲M4A。

  做爲一種高壓縮比的音頻壓縮算法,AAC壓縮比一般爲18:1,也有資料說爲20:1,遠勝mp3; 在音質方面,因爲採用多聲道,和使用低複雜性的描述方式,使其比幾乎全部的傳統編碼方式在同規格的狀況下更勝一籌。不過直到2006年, 使用這一格式儲存音樂的並很少,能夠播放該格式的mp3播放器更是少之又少,目前所知僅有蘋果iPod、Sony Walkman(NWZ-A、NWZ-S、NWZ-E、NWZ-X系列)、任天堂NDSi。魅 族M8,此外計算機上不少音樂播放軟體都支持AAC(前提是安裝過AAC解碼器),如蘋果iTunes。但在移動電話領域,AAC的支持度已很普 遍,Nokia、Sony Ericsson、Motorola等品牌均在其中高端產品中支持 AAC(一開始主要是LC-AAC,隨着移動電話性能的發展,HE-AAC的支持也已普遍)。

  AAC能夠支持多達48個音軌,15個低頻(LFE)音軌,5.1多聲道支持,更高的採樣率(最高可達 96kHz,音頻CD爲44.1kHz)和更高的採樣精度(支持8bit、16bit、24bit、32bit,音頻CD爲 16bit)以及有多種語言的兼容能力,更高的解碼效率,通常來講,AAC能夠在對比MP3文件縮小30%的前題下提供更好的音質。

  • 相對於傳統的LC-AAC,High Efficiency AAC(HE-AAC或寫爲 AAC-HE)又稱爲 "aacPlus v1" 或 "AAC+" - 結合了 SBR (Spectral Band Replication) and AAC技術;適用於低比特率(64kbps如下);
  • HE-AAC v2,又稱爲 "aacPlus v2" - 結合了 Parametric Stereo(參數化立體 聲,PS)和 HE-AAC 中的SBR技術。

  由於"AAC"是一個你們族,他們共分爲 9 種規格,以適應不一樣場合的須要,也正是因爲 AAC 的規格(Profile)繁多,致使普通電腦用戶感受十分困擾:

  1. MPEG-2 AAC LC 低複雜度規格(Low Complexity)
  2. MPEG-2 AAC Main 主規格
  3. MPEG-2 AAC SSR 可變採樣率規格(Scaleable Sample Rate)
  4. MPEG-4 AAC LC 低複雜度規格(Low Complexity),如今的手機比較常見的 MP4 文件中的音頻部份就包括了該規格音頻文件
  5. MPEG-4 AAC Main 主規格
  6. MPEG-4 AAC SSR 可變採樣率規格(Scaleable Sample Rate)
  7. MPEG-4 AAC LTP 長時期預測規格(Long Term Predicition)
  8. MPEG-4 AAC LD 低延遲規格(Low Delay)
  9. MPEG-4 AAC HE 高效率規格(High Efficiency)

  上述的規格中,主規格(Main)包含了除增益控制以外的所有功能,其音質最好,而低複雜度規格(LC)則是比較簡單,沒有了增益控制,但提升了 編碼效率,至‘SSR’對‘LC’規格大致是相同,可是多了增益的控制功能,另外,MPEG-4 AAC/LTP/LD/HE,都是用在低比特率下編碼,特別是‘HE’是有 Nero ACC 編碼器支持,是近來經常使用的一種編碼器,不過一般來講,Main 規格和 LC 規格的音質相差不大,所以目前使用最多的 AAC 規格多數是‘LC’規格,由於要考慮手機目前的存儲器能力未達合理水準。

編解碼學習筆記(六):H.26x系列

部分資料來源與wiki以及http://www.365pr.net/tech_view.asp?id=315

H.26x有H.261,H.262,H.263, H.263v2以及H.264,H.261基本上已經再也不使用。其中H.262和H.264已經在MPEG系列中介紹,他們分別對應MPEG2的第2部和MPEG-4的第10部。不在整理這方面的資料。

H.261

H.261其速率爲64kbps的整數倍(1~30倍)。它最初是 針對在ISDN(綜合業務數字網,Integrated Services Digital Network)上雙向聲像業務(特別是可視電話、視頻會議)而設計的。

H.261是最先的運動圖像壓縮標準,它只對CIF和QCIF兩 種圖像格式進行處理,每幀圖像分紅圖像層、宏塊組(GOB)層、宏塊(MB)層、塊(Block)層來處理;並詳細制定了視頻編碼的各個部分,包括運動補償的幀間預測、DCT(離散餘弦變換)、量化、熵編碼,以及與固定速率的信道相適配的速率控制等部分。實際的編碼算法相似於MPEG算法,但不能與後者兼 容。H.261在實時編碼時比MPEG所佔用的CPU運算量少得多,此算法爲了優化帶寬佔用量,引進了在圖像質量與運動幅度之間的平衡折衷機制。也就是說,劇烈運動的圖像比相對靜止的圖像質量要差。所以這種方法是屬於恆定碼流可變質量編碼。

H.261是第一個實用的數字視頻編碼標準。H.261的設計至關成功,以後的視頻編碼國際標準基本上都是基於 H.261相同的設計框架,包括 MPEG-1,MPEG-2/H.262,H.263,甚至 H.264。一樣,H.261開發委員會(由Sakae Okubo領導,他的日文姓名是大久保榮)的基本的運做方式也被以後的視頻編碼標準開發組織所繼承。H.261使用了混合編碼框架,包括了基於運動補償的 幀間預測,基於離散餘弦變換的空域變換編碼,量化,zig-zag掃描和熵編碼。

實際上H.261標準僅僅規定了如何進行視頻的解碼(後繼的各個視頻編碼標準也繼承了這種作法)。這樣的話,實際上開發者在編碼器的設計上擁有至關的自由來設計編碼算法,只要他們的編碼器產生的碼流可以被全部按照H.261規範製造的解碼器解碼就能夠了。編碼器能夠按照本身的須要對輸入的視頻進行任何預處理,解碼器也有自由對輸出的視頻在顯示以前進行任何後處理。去塊效應濾波器是一個有效的後處理技術,它能明顯的減輕由於使用分塊運動補償編碼形成的 塊效應(馬賽克)--在觀看低碼率視頻(例如網站上的視頻新聞)的時候咱們都會注意到這種討厭的效應。所以,在以後的視頻編碼標準如H.264中就把去塊 效應濾波器加爲標準的一部分(即便在使用H.264 的時候,再完成解碼後再增長一個標準外的去塊效應濾波器也能提升主觀視頻質量)。

後來的視頻編碼標準均可以說是在H.261的基礎上進行逐步改進,引入新功能獲得的。如今的視頻編碼標準比起H.261 來在各性能方面都有了很大的提升,這使得H.261成爲了過期的標準,除了在一些視頻會議系統和網絡視頻中爲了向後兼容還支持H.261,已經基本上看不到使用H.261的產品了。 可是這並不妨礙H.261成爲視頻編碼領域一個重要的里程碑式的標準。

H.263

H.263最初設計爲基於H.324的系統進行傳輸 (即基於公共交換電話網和其它基於電路交換的網絡進行視頻會議和視頻電話)。後來發現H.263也能夠成功的應用與H.323(基於RTP/IP網絡的視 頻會議系統),H.320(基於綜合業務數字網的視頻會議系統),RTSP(流式媒體傳輸系統)和SIP(基於因特網的視頻會議)。

基於以前的視頻編碼國際標準(H.261,MPEG-1和H.262/MPEG-2),H.263的性能有了革命性的提升。它的初版於1995年 完 成,在全部碼率下都優於以前的H.261。 以後還有在1998 年增長了新的功能的第二版H.263+,或者叫H.263v2,以及在2000年完 成的第三版H.263++,即H.263v3。

H.263v2(一般也叫作H.263+或者1998年版H.263)是ITU-TH.263 視頻編 碼標準第二版的非正式名稱。 它保持了原先版本H.263的全部技術,可是經過增長了幾個附錄顯著的提升了編碼效率並提供了其它的一些能力,例如加強了抵抗傳輸信道的數據丟失的能力(Robustness)。H.263+ 項目於1997年末/1998年初完成(這取決於咱們怎麼定義"完成")。

H.263v3:接下來一個被稱爲"H.263++" 的項目被隨即推出,在H.263+的基礎上增長了更多的新的功能。H.263++於2000年末完成。增長了下面的附錄:

  • Annex A - Inverse transform accuracy specification
  • Annex B - Hypothetical Reference Decoder
  • Annex C - Considerations for Multipoint
  • Annex D - Unrestricted Motion Vector mode
  • Annex E - Syntax-based Arithmetic Coding mode
  • Annex F - Advanced Prediction mode
  • Annex G - PB-frames mode
  • Annex H - Forward Error Correction for coded video signal

在H.263以後,ITU-T(在與MPEG的合做下)的下一代視頻編解碼器是H.264,或者叫AVC以及MPEG- 4第 10部分。因爲H.264在性能上超越了H.263不少,如今一般認爲H.263是一個過期的標準(雖然它的開發完成並非好久之前的事情)。大多數新的 視頻會議產品都已經支持了H.264視頻編解碼器,就像之前支持H.263和H.261同樣。

話雖然如此,H.263在3GPP中仍然佔有很高的地位,後繼修訂的版本,包括運營商的標準一直保留着H.263, 做爲必選的要求,地位遠遠高於H.264,這是個奇怪的現象。一個重要的可能緣由是H.263的編碼比H.264的要輕載,在手機的modem中提供 H.263的編解碼能力,不提供H.264的編解碼能力,或者只提供H.264的解碼能力不提供編碼能力,若是不是智能手機不能在主板的其餘芯片(例如 CPU)提供H.264的編解碼能力,開發者就沒什麼辦法,H.263能夠經過軟件來提供,H.264對處理能力的要求很高,目前須要依賴硬件能力提供。所以H.263仍然具備很大的市場,尤爲對於小尺寸的手持設備,屏幕分辨率有限,高清無心義。

H.264

H.264等同於MPEG-4的第10部,在這裏仍然收集資料進行學習記錄。

在H.263以後,ITU-T(在與MPEG的合做下)的下一代視 頻編解碼器是H.264,或者叫AVC以 及MPEG-4第 10部分。因爲H.264在性能上超越了H.263不少,如今一般認爲H.263是一個過期的標準(雖然它的開發完成並非好久之前的事情)。大多數新的 視頻會議產品都已經支持了H.264視頻編解碼器,就像之前支持H.263和H.261同樣。

H.264/AVC可工做於多種速率,普遍應用於Internet/intranet上的多媒體流服務、視頻點播、可視遊戲、低碼率移動多媒體通訊 (視頻 手機等)、交互式多媒體應用、實時多媒體監控、數字電視與演播電視和虛擬視頻會議等,大有在上述領域一統天下的趨勢,有很是普遍的開發和應用前景。

H.264是一種視頻高壓縮技術,同時稱爲MPEG-4 AVC,或MPEG-4 Part10。ITU-T從1998年就H.26L的H.26S兩個分組,H.26L研製節目時間較長的高壓縮編碼技術,H.26S則指短節目標準制訂部 門。前面的H.263就是H.26S標準化技術,而H.264標準是在H.26L基礎上發展而來的。爲了避免引發誤解,ITU-T推薦使用H.264做爲這 一標準的正式名稱。H.264集中體現了當今國際視頻編碼解碼技術的最新成果。在相同的重建圖像質量下,H.264比其餘視頻壓縮編碼具備更高的壓縮比、 更好的IP和無線網絡信道適應性。

首先,H.264具有超高壓縮率,其壓縮率爲MPEG-2的2 倍,MPEG-4的1.5倍。這樣的高壓縮率是以編碼的大運算量來換取的,H.264的編碼處理計算量有MPEG-2的十多倍。不過其解碼的運算量並無上升不少。從CPU頻率和內存的高速發展的角度來看,1995年推出MPEG-2時,主流的CPU是奔騰100,內存更是小的可憐。而現在主流CPU的工 做頻率比那個時候快了30倍,內存擴大了50多倍。因此H.264編碼的大運算如今也不算什麼大問題了。

高壓縮率使圖像的數據量減小,給存儲和傳輸帶來了方便。加上基本規格公開的國際標準和公正的許可制度,因此,電視廣播、家電和通訊三大行業都進入到 H.264的實際運用研發中心。美國高等電視系統會議和日本無線電工業和事務協會都準備把H.264做爲地面便攜式數字電視廣播的編碼方式。歐洲數字電視廣播標準化團體也正在將H.264做爲數字電視的一種編碼方式來採用。

家電行業中的視頻存儲設備廠商也看中了H.264。東芝和NEC推出的下一代採用藍色激光的光碟HD DVD-ROM,由於容量小於Sony等九大公司的藍光碟,故將視頻壓縮編碼改用H.264,從而使最終的節目錄制時長能與藍光碟相近。H.264也能使 HDTV節目錄像和 SDTV的長時間錄像成爲可能。於是,生產LSI芯片的廠商也十分重視H.264。D9型DVD碟只有8.5GB,不足以存放2小時的HDTV節目,如用 H.264來壓縮就變得有可能。同時,在通信領域,互聯網工程任務已開始將H.264做爲實時傳輸協議流的格式進行標準化。互聯網和手機的視頻傳送也會有 H.264做爲編碼方式。

相對於MPEG壓縮編碼H.264的變化之一是在幀內編碼I畫面中,又加入了幀內預測編碼技術,即解碼時可用周圍數據的差分值來重構畫面。在運動預 測塊中,H.264採用全面運動預測和I畫面幀內預測後,編碼量獲得減小,但LSI的運算處理量增大。爲此,H.264引入了DCT的簡化處理技術,來減 輕LSI的負擔,畫質也有所改善。H.264與MPEG-2和MPEG-4的不一樣還存在於熵編碼塊中,H.264的熵編碼CAVLC(內容自適應可變長度 碼)和CABAC(內容自適應二進制算法編碼)能提升糾錯能力。而MPEG-2和MPEG-4是霍夫曼編碼。另外,還加入瞭解鎖濾波器 (Deblocking Filter),有下降噪聲的效果。H.264的整數變換以4×4像素塊爲單位,已比原來的8×8像素塊的塊噪聲少,再次下降,畫質獲得了進一步提升。

H.264標準分爲三檔:基本檔次;主要檔次(可用於SDTV、HDTV和DVD等);以及擴展檔次(用於網絡的視頻流)。其中H.264的基本檔 次是免費,用戶能夠免費使用,現獲得美國蘋果公司和美國Cisco系統公司、中國聯想公司、諾基亞、美國On2技術公司、德國西門子、TI公司等的支持; 其許可體系要比MPEG-4單純,公正無差異對待用戶和專利持有者。H.264替代MPEG-4的呼聲很高,除了其高性能外,低額專利費和公正的無差異許 可制度也相當重要。因爲技術的日益成熟,半導體廠商已在進行H.264的編碼/解碼LSI的開發。特別是HDD錄像機和DVD錄像機等設備中,採用 H.264的實例已不少,更引發了半導體廠商的關心。加之,H.264採用的動畫編碼方式和音頻編碼方式具備多樣化特性,從此幾乎將會是所有廠商的主要規格之一。

編碼效率比較

Codec

MPEG-4

H.263

MPEG-2

H.264

39%

49%

64%

MPEG-4

--

17%

43%

H.263

--

--

31%

編解碼學習筆記(七):微軟Windows Media系列

資料來源於wiki與 http://chaoqunz.blog.163.com/blog/static/6154877720084493941186/

Microsoft 公司主導的音頻視頻編碼系列,它的出現主要是爲了進行網絡視頻傳輸,如今已經向HDTV 方面進軍,開發了 WMV HD 應用。WMV(Windows Media Video)是微軟公司開發的一組數字視頻編 解碼格式的通稱,它是Windows Media架構下的一部分。它最初是爲低速率流媒體應用做爲專有編解碼開發出來的,可是2003年微軟公司基於Windows Media Video第9版編解碼起草了視頻編解碼規範而且提交給SMPTE申請做爲標準。這個標準在2006年3月做爲SMPTE 421M被正式批准,這樣Windows Media Video 9編解碼就再也不是一個專有的技術。早期的變解碼版本(7和8)仍然被認爲是專有技術,由於它們不在SMPTE 421M標準的涵蓋範圍內。

微軟媒體系列分爲WMV(Windows Media Video)和WMA(Windows Media Audio),說白了就是微軟的視頻和音頻。

容器

視頻流一般與Windows Media Audio音頻流組合在一塊兒而且使用擴展名爲.wmv或者.asf的Advanced Streaming Format的文件進行封裝。WMV一般使用Advanced StreamingFormat(ASF) 封裝,它也能夠使用AVI或者Matroska格 式封裝。若是是AVI封裝的文件結果文件能夠是.avi,若是是ASF封裝的話則是.wmv或者.asf, 若是是MKV封裝的話則是.mkv。當使用VirtualDub編 碼器編碼和WMV9 VCM編解碼實現的時候WMV能夠存儲在AVI文件中。用於Mac的微軟公司媒體播放器不支持全部的WMV編碼的文 件,由於它只支持ASF文件 封裝,Flip4Mac和QuickTime或 者用於MacOSX的MPlayer可 以播放更多的文件。

WMV

擴展名: .wmv 
互聯網媒體類型: video/x-ms-wmv 
統一類型標識: com.microsoft.windows-?media-wmv 
開發者: 微軟公司 
格式: 數字視頻

WMV(Windows Media Video)是微軟公司開發的一組數字視頻編解碼格式的通稱,它是Windows Media架構下的一部分。它最初是爲低速率流媒體應用做爲專有編解碼開發出來的,可是2003年微軟公司基於Windows Media Video第9版編解碼起草了視頻編解碼規範而且提交給SMPTE申請做爲標準。這個標準在2006年3月做爲SMPTE 421M被正式批准,這樣Windows Media Video 9編解碼就再也不是一個專有的技術。早期的變解碼版本(7和8)仍然被認爲是專有技術,由於它們不在SMPTE 421M標準的涵蓋範圍內。

WMV不是僅僅基於微軟公司的自有技術開發的。從第七版(WMV1)開始,微軟公司開始使用它本身非標準MPEG- 4 Part 2。可是,因爲WMV第九版已是SMPTE的一個獨立標準(421M,也稱爲VC- 1),有理由相信WMV的發展已經不像以前那樣是一個它本身專有的編解碼技術。如今VC-1專利共享的企業有16家(2006年4月),微軟公司也是 MPEG-4 AVC/H.264專利共享企業中的一家。

正式名稱

FourCC

Codec版本

描述

Windows Media Video v7

WMV1

0

 

Microsoft MPEG-4 Video Codec v3

MP43

1

 

Windows Media Video v8

WMV2

2

 

Microsoft MPEG-4 Video Codec v2

MP42

3

 

Microsoft ISO MPEG-4 Video Codec v1

MP4S

4

 

Windows Media Video v9

WMV3

5

 

Windows Media Video v9 Advanced Profile

WMVA

6

deprecated as not VC-1 不徹底兼容。

Windows Media Video v9 Advanced Profile

WVC1

7

VC-1完整支持

FourCC全稱Four-Character Codes,是由4個字符(4 bytes)組成,是一種獨立標示視頻數據流格式的四字節,在wav、avi檔案之中會有一段FourCC來描述這個AVI檔案,是利用何種codec來 編碼的。所以wav、avi大量存在等於「IDP3」的FourCC。

Microsoft MPEG-4 v1/v2/v3

常見的有1.0、2.0、3.0三種版本,是基於MPEG-4技術的,其中3.0並不能用於AVI的編碼,只能用於生成支持「視頻流」技術的ASF文件。

Microsoft MPEG-4 version 1 
是微軟基礎的視頻編碼,是非標準的MPEG-4,與MPEG-4 Part2不兼容。FourCC:MPG4

Microsoft MPEG-4 version 2 
VFW的基礎編解碼。與V與MPEG-4Part2不兼容。VFW(Video for Windows),是微軟推出的關於數字視頻的一個軟件開發包,VFW的核心是AVI文件標準。AVI(AudioVideo Interleave)文件中的音、視頻數據幀交錯存放。圍繞AVI文件,VFW推出了一整套完整的視頻採集、壓縮、解壓縮、回放和編輯的應用程序接口 (API)。因爲AVI文件格式推出較早且在數字視頻技術中有普遍的應用,因此VFW仍然有很大的實用價值,並且進一步發展的趨勢。在VC++開發環境中 調用VFW和使用其它開發包沒有什麼不一樣,只是須要將VFW32.lib 文件加入工程中,但在開放視頻捕捉與壓縮管理程序時須要其它軟件硬件設置。VFW爲AVI文件提供了豐富的處理函數和宏定義,AVI文件的特色在於它是典 型的數據流文件,它由視頻流、音頻流、文本流組成。因此對AVI文件的處理主要是處理文件流。FourCC:MP42

Microsoft MPEG-4 version 3 
VFW的基礎編解碼。與V與MPEG-4Part2不兼容。最終只用於ASF文件。FourCC:MP43

除此以外: 
Microsoft ISO MPEG-4 version 1 
基於DirectX Media Objects (DMO)-based編解碼,與MPEG-4 SP(Simple Profile)兼容 。FourCC:MP4S。

Microsoft ISO MPEG-4 version 1.1 
與MPEG-4 ASP(AdvancedSimple Profile)兼容。FourCC:M4S2

目前在Windows平臺上比較實用的MPEG-4視頻編解碼器主要有:由微軟公司開發的Microsoft MPEG-4 Codec v1/v2 /v3,主要是配合微軟公司的流媒體技術使用;在Microsoft MPEG-4 v3的基礎上,由DivXNetworks公司開發的 DivX Codec;在OpenDivX的基礎,遵循GPL開發的開源XviD Codec。
這些codec在windows中以dll方式呈現。

Windows Media Video 7

是DirectXMedia Objects (DMO)-based codec。Microsoft 正式開發的 第一個 Windows Media Video,開始脫離了MPEG-4,和MPEG-4 不兼容,從這一點上可見微軟的野心(微軟公司開始使用它本身非標準MPEG-4Part 2)。惋惜這個版本壓縮效果很是爛,打破了微軟一飛沖天的好夢,不過它在壓縮速度上很是快,如今網絡上有不少採用這種格式壓縮的 WMV。FourCC:WMV1

Windows Media Video 8

在WMV7 基 礎上改進的版本,質量上面進不了很多。是DMO-based codec。FourCC:WMV2.

Windows Media Video 9

微軟的重頭戲,不光是這一個編碼,V9 系列更是一個平臺,讓微軟有足夠的能力挑戰 MPEG,ITU 等標準化組織。雖然這個版本並無微軟吹得那麼厲害,特別 是低碼率下比較差,不過跟之前版本相比進步仍是很是多的。特別是 WMV HD 的應用,讓微軟也躋身視頻標準領域。
DMO-based codec. Video for Windows (VfW/VCM) version also available. FourCC:WMV3

Windows Media Video 9 Advanced Profile

在WMV4的Simple和Main profile levels與VC-1標準中的是相同的。VC-1中的AdvancedProfile採用一個新的WMV編解碼,稱爲WindowsMedia Video 9 Advanced Profile。它提升隔行掃描的內容壓縮,並與傳輸無關,使得他能夠封裝在MPEG的傳輸流(TS)中或者採用RTP傳輸。它與以前的WMV9的 codec是不兼容的。

隨着 Windows Media Player 10 推出的編碼器,可以更進一步控制WMV9 的質量。可是不能在老版本的 WMP9 上播放,也就是不兼容老版本的 WMP9,真不知微軟在搞什麼?

FourCC:WVC1,VC-1兼容。FourCC:WMVA,不推薦使用非VC-1兼容方式。咱們能夠認爲WMV9與VC-1兼容。

Windows Media Video 9 Screen

靜態屏幕無損壓縮編碼,質量很是好,壓縮率高,只針對如屏幕等變化很是小的環境。WMV Screen是一個screencast編解碼器,它能夠捕抓動態的屏幕內容,將第三方抓屏程序轉換到WMV9 Screen文件中。用於之一是計算機的step-by*step演示視頻,初版本是WMV7 Screen,第二個版本也就是當前的版本是WMV9 Screen,支持CBR和VBR。

Windows Media Video 9 Image

靜態圖像壓縮編碼。WMV Image是一個視頻幻燈片的編碼器,播放多個畫面時可根據時間進行平移和過分效果展示。與WMV9相比,具備高壓縮率和高態圖像質量。因爲編解碼依賴解 碼器(播放器)生成實施視頻幀,播放WMV Image文件(即便在普通的1024×768,30fps)要求很高的處理能力。在最新的版本,WMV9.1 Image,使用Photo Story3提升轉換效果,耽於原來的WMV9 Image不兼容。

視頻質量

微軟宣稱WMV9提供的壓縮率爲MPEG-4的2倍,MPEG-2的3倍。微軟還宣稱WMV9的壓縮效率筆WMV8高15%~50%。可是在2005年的一個測試報告中,顯示WMV9的壓縮效率比WMV8要差。

Windows Media Player 10 Mobile

在wiki上,咱們注意到「Windows Media Player 10 Mobile」,顯示WMV10將用於移動,多是Windows Mobile。可是咱們沒有查到進一步的資料。

WMA

擴展名 .wma 
互聯網媒體類型 audio/x-ms-wma 
統一類型標識 com.microsoft.windows-?media-wma 
開發者 微軟 
格式 數字音頻

WMA(Windows Media Audio)是微軟公司開發的一種數字音頻壓縮格式。一些使用Windows Media Audio編碼格式編碼其全部內容的純音頻ASF文件也使用WMA做爲擴展名。WMA格式爲微軟公司私有,可是隨着蘋果公司的iTunes對它的支持,這 個格式正在成爲MP3格式的競爭對手。它兼容MP3的ID3元數據標籤,同時支持額外的標籤。

WMA能夠用於多種格式的編碼文件中。應用程序能夠使用Windows MediaFormat SDK進行WMA格式的編碼和解碼。一些常見的支持WMA的應用程序包括Windows Media Player、Windows Media Encoder、RealPlayer、Winamp等等。其它一些平臺,例如Linux和移動設備中的軟硬件也支持此格式。

WMA 7以後的WMA支持證書加密,未經許可(即未得到許可證書),即便是非法拷貝到本地,也是沒法收聽的。同時,微軟公司開始時宣稱的:同文件比MP3體積小 一倍而音質不變,這也獲得了兌現。另外,微軟公司在WMA 9大幅改進了其引擎,實際上幾乎能夠在同文件同音質下比MP3體積少1/3左右,所以很是適合用於網絡流媒體。

跟MP3相比,WMA在高位的音質渲染力明顯不足,甚至還比MP3更差;與MP3相同,一般的WMA也是有損數據壓縮的文件格式,對於有更高要求的用戶來講WMA並非一個適合的格式。但在WMA9版本開始支持無損壓縮——Windows Media Audio 9 Lossless(在安裝WMP11或Windows Media Format 11以後升級至9.1,無損壓縮版本最高支持5.1聲道編碼)。此外WMA也與MP3同樣同爲有專利版權的文件格式。支持的設備須要購買使用版權。

Windows Media Audio v1/v2

微軟最先的音頻編碼技術,用於 ASF 中,後來被破解也用在 DivX Audio 中,質量比較差。

Windows Media Audio 7/8/9

隨着各類不一樣的 WMV 而推出的相應的音頻編碼,質量節節提高,不過尚未達到 64kbps CD音質的神化。

Windows Media Audio 9 Professional

WMA9 中 出現的新編碼,主要用於多聲道編碼和高採樣率音頻的編碼,質量不錯。

Windows Media Audio 9 Voice

針對語音的編碼,最高 20kbps ,不過和 AMR 相比,效果就太差了。

Windows Media Audio 9 Lossless

無損音頻編碼,能夠完美保留CD原質量,是CD備份的不錯選擇,不過代價是體積過大。

VC-1

VC-1,全名VC-1視訊編解碼器(Video Codec 1),是基於微軟WMV9,並推廣爲工業標準。2003年提出標準化申請,最先名字是VC-9。2006年4月正式經過成爲標準。VC-1是SMPTE 421M視頻編解碼標準的正式名稱。HD DVD 和藍光光碟(Blu-ray Disc)都支援VC-1。微軟表示Windows Vista將支援VC-1影像壓縮技術的HD DVD規格。電影及電視學會(SMPTE)已採用VC-1爲視訊壓縮標準。

VC-1是基於Windows Media Video 9壓縮技術的影像壓縮標準,由三大編解碼元件所組成,每個編解碼元件都具備其獨自的FourCC編碼。

WMV3 :

即WMV9。VC-1的Simple和Main這兩種Profile就是WMV3應用,使得與WMV 9兼容,支持逐行掃描編解碼。隔行掃描的編解碼也提供,但在很快地,在微軟推出WMVAdvanced profile後,不推薦採用。逐行掃描編解碼用於YUV4:2:0,隔行的(不推薦)用於YUV4:1:1。

WMV3用於高質量的視頻和流媒體。一樣的質量,它只是MPEG-2的帶寬的1/2~1/3。在商業上用於高清電影和視頻的WMV HD,編碼爲WMV3 Main Profile @ High Level(MP@HL)。

WMVA :

它是在WMV Advanced Profile被SMPTE吸取爲做爲VC-1草案之間出現的。它與WVC1之間細微的差役,所以解碼器也不同,2006年起,WMVA被認爲是個過期的編碼,由於與VC-1不徹底兼容。

WVC1 :

也就是WMV 9 Advanced Profile,實現了個更新的,徹底符合的AdvancedProfile的VC-1編碼標準。它支持隔行掃描內容,與底層傳輸無關。

壓縮技術整合了MPEG及H.264之優勢,採用Biliner和Bicubic方式,次像素(Sub- Pixel)最小可達4分之1像素。VC-1只有4種動做補償(motion composition),壓縮比沒法賽過H.264。VC-1在壓縮時間上,明顯比H.264短了許多,複雜度約只有H.264的50%,對特效電影有 很傑出的效能表現。因爲H.264 使用較小尺寸的轉換公式與沒法調整的量化矩陣,形成不能完整保留影像的高頻細節資訊。

wiki上有一篇 VC-1和H.264比較 的文章,很值得看一看。我看到這樣的一個段:

VC-1:需付費。Reference decoder 並不是免費,不過附贈外部文件

H.264:免費.Reference encoder 和 decoder 也是免費。此外,覈查小組及M4IF郵寄名單可在一個可能會收到回答了AVC的有關問題。

除此以外,咱們在Google上search H.264 license中也看到了說free的字樣。可是,果然如此嗎?

版權問題

我一直認爲H.264是須要付費的,所以我對上面的表述不肯定是否正確。我上網查了一下:也看到「H.264的基本系統無需使用版權 ,具備開放的性質,能很好地適應IP和無線網絡的使用,」的字樣。基於這些疑問,我上網查了一下。IP老是個麻煩的問題,最好向Andriod那樣,提供平臺,版權,產品維護都是手機生產廠家的事情。

MPEG LA公司是世界領先的替代技術特許服務提供商,它使用戶可以經過單筆交易從多個專利持有人那裏購買某項技術標準或平臺所必須的全球專利權,而沒必要分別洽談各項特許權。只要獨立管理的一站式專利特許權可以開啓方便之門、幫助用戶推廣某項技術, MPEG LA公司率先採用的特許模式就能提供解決方案。MPEG LA公司的特許權之一就是MPEG-2數字視頻壓縮,這一技術幫助產生了消費電子歷史上應用最爲普遍的標準。包括57個國家逾870個MPEG-2基本專利的MPEG-2專利組合特許權擁有至少1500家被許可人,覆蓋目前全球市場上的大多數MPEG-2產品,包括機頂盒、DVD播放器、數字電視機、我的 電腦和DVD視頻光盤。做爲獨立特許經營管理人,MPEG LA公司不與任何標準管理機構相關聯,也不是任何專利權持有人的關聯人。欲瞭解更多信息,請登陸http://www.mpegla.com。 (http://www.dvbcn.com/2010-01/28-44547.html

我去MEPG-LA網上查閱,發現有AVC/H.264,也就是說這個是須要付費的。在資料中有下面的一張PPT。:

我不是很看得的懂,好比一個H.264的片子,是提供下載片子的內容供應商付錢,仍是提供解碼器的終端設備商須要付費?又例如使用H.264進行視頻電話,小於12分鐘不收費,大於12分鐘收費?混亂啊。所以知識產權這攤事,仍是留個專業的法律人士來負責。

編解碼學習筆記(八):Real系列

下面資料從wiki中整理獲取。

Real系列是RealNetworks提供的,分爲RealVideo和RealAudio。

RealVideo

RealVideo是一種影片格式由RealNetworks於 1997年所開發,至2006年時已到RealVideo版本10。它從開發伊始就定位爲應用爲網絡上視頻播放上的格式。支持多種播放的平臺,包含 Windows、Mac、Linux、Solaris以及某些移動電話。相較於其它的視頻編解碼器,RealVideo一般能夠將視頻數據壓縮得更小。所以它能夠在用56Kbps MODEM撥號上網的條件實現不間斷的視頻播放。

通常的文件擴展名爲.rm/.rvm,如今普遍流行的是rmvb格式,即動態編碼率的real video。

RealVideo早期使用H.263,在RealVideo8及以後公司採用私有或者不公開的視頻格式。官方的的播放器是 RealNetworks RealPlayer SP,最新的版本是v12,在多個平臺,包括Windows,Macintosh,和Linux中提供。RealNetworks公司同時也開發了開源的 Helix播放器,可是在Helix項目中沒有提供RealVideo,由於Real系列的編解碼還是不公開的。

RealMedia文件能夠經過RTSP在網絡上傳輸,可是RTSP只用於創建和管理鏈接,真正的視頻數據是經過 Real本身私有的 RDT(Real Data Transport)協議傳輸。這種方式引發很大的批評,由於難以在其餘播放器和服務器中使用RealVideo,如今一些開源項目,例如MPlayer 已經能夠播放RDT流。爲了支持實時流,RealVideo和RealAudio一般採用CBR(恆定碼速)編碼,使得每秒傳遞的數據相等。後來,公司開發了可變碼速,成爲RealMedia Variable Bitrate(RMVB),提供更高的水平資料,可是這種格式不適合做爲流,由於難以預測某個特定的媒體流須要多少網絡資源。帶有快速移動和場景變化的視頻須要更高的碼流,若是碼流超出網絡所能提供的速率,將會引發中斷。

RealNetworks公司說RealVideo和RealAudio編解碼的源代碼不在RPSL的許可內。在許可源代碼在不支持的處理器和操做系統的商用移植中許可。雖然公司擁有大多數的知識產權,可是容許第三方爲某個特性享有版權。

RealVideo 1.0

RealVideo的第一個版本在1997年釋放,是基於H.263格式。在RealPayer5中提供。FourCC爲rv10,rv13

RealVideo G2和RealVideoG2+SVT

也是就要H.263,在RealPlayer6中提供。質量比較糟糕。FourCC爲rv20

RealVideo 8

隨着 RealPlayer 8 推出的視頻格式,是如今主流的網絡視頻編碼之一。編碼速度較慢,質量也只能算通常。猜想是基於早期的H.264 draft,在RealPlayer 8中提供,FourCC爲rv30。

RealVideo 9

RealNetworks 開 發的新一代編碼,質量進步了不少,特別是在底碼率下,並且編碼速度很快,作到了速與質的很好統一。
猜想是基於H.264,在RealPlayer9中提供。FourCC爲rv40.

RealVideo 10

在RealVideo 9 基 礎上加入了一些參數,如 EHQ 等,更加精確控制碼率,和 RealVideo 9 兼容。在RealPlayer10中提供,FourCC爲rv40(與RealVideo9相同)

RealAudio

文件名擴展: .ra, .ram

Internet media type:audio/vnd.rn-realaudio,audio/x-pn-realaudio

RealAUdio是RealNetwoks公司私有的賓朋編解碼格式,最先在1995年釋放。它包括一系列的音頻編解碼,從古老撥號modem的 低速率格式到高質量的音樂。可用於媒體流,過去不少的互聯網電臺使用RealAudio做爲他們節目的實時音頻流,近年使用得較少,讓位與其餘流行的格 式。

RealAudio文件後綴爲.ra。1997年,公司開始提供視頻格式成爲RealVideo。將音頻和視頻合併是以哦那個的容器後綴爲.rm。然而,最新的版本,使用.ra用於音頻文件,使用.rv用於帶或不帶音頻的視頻文件,用.rmvb用於可變速率的視頻文件。

.ram(Real Audio Metadata)和.smil(SynchronizedMultimedia Integration Language)文件格式用於流媒體中的連接。在不少狀況下,網絡並不直接連接一個RealAudio文件,而是連接.ram和.smil文件。這是一 個很小的文本文件,包括音頻流的連接。當用戶點擊一個連接,網絡瀏覽器下載.ram和.smil文件,並加載用戶的媒體播放器,媒體播放器從文件中讀取 pnm或者rtsp的URL,並開始播放流。

RealAudio文件包括多種音頻編解碼,每一個編解碼都是用FourCC(Four Character Code)來表示,介紹以下:

  • lpcJ: IS-54 VSELP (RealAudio 1)
  • 28_8: G.728 LD-CELP (RealAudio 2)
  • dnet: Dolby AC3 (RealAudio 3)
  • sipr: Sipro Lab Telecom ACELP-NET (RealAudio 4/5)
  • cook: G2/Cook Codec (RealAudio 6)
  • atrc: Sony ATRAC3 (RealAudio 8)
  • raac: MPEG-4 LC-AAC (RealAudio 9)
  • racp: MPEG-4 HE-AAC (RealAudio 10)
  • ralf: RealAudio Lossless Format (RealAudio 10)

編解碼學習筆記(九):QuickTime系列

擴展名 .mov,.qt
互聯網媒體類型 video/quicktime
類型代碼 MooV
統一類型標識 com.apple.quicktime-movie
開發者 蘋果公司
格式  媒體容器
專門屬 音頻、視頻、文字

  或者標題能夠改成Apple系列。QuickTime 並非一個編碼,而是一個多媒體平臺,它的上面有衆多編碼,這裏只針對幾個主流的編碼器。
  QuickTime技術擁有三種主要的組件:

  • 媒體播放器,蘋果計算機在他本身的網站免費讓人下載以及內建在他的計算機中。
  • QuickTime 檔案格式-公開文件而且任何人均可以使用,不須權利金。
  • 軟件開發工具可用於Macintosh和Windows平臺。這些工具容許人們開發他們本身的軟件來操做QuickTime以及其它媒體檔案。這些對已註冊開發人員是 免費的(註冊免費)。

  蘋果在Mac OS和Windows平臺推出免費之官方媒體播放軟件,名字爲"QuickTime Player"(早期的版本簡單地使用  了"MoviePlayer"這個名稱)。這個播放器也包含一些媒體編輯和媒體創做的特點,可是使用者必須從 Apple購買序列號來打開這些功能,把這個播放器轉變爲"QuickTimePro"。

QuickTime歷史:1991年到1998年:1.x- 2.x

  蘋果電腦於1991年12月2日釋出第一個QuickTime的版本,做爲System 7上的多媒體附加功能。QuickTime的首席開發者,Bruce Leak,於1991年五月的Worldwide Developers Conference作了第一次的公開展現。他在Mac上展現蘋果電腦有名的1984電視廣告,在那時候是一種使人印象深入的突破。Microsoft的 競爭技術-Video for Windows- 在1992年11 月以前都還未出現。

  第一個版本的QuickTime制定的基本架構,到如今基本上還存在未更改,包含多重電影軌道,可擴充的媒體形態支持,一種開放的文件格式,以及完整的編輯功能。本來的視頻codec包含:

  • Apple視頻codec(也稱做"Road Pizza"),適合普通現場動做圖像。
  • 動畫codec,使用簡單的run-length圖形壓縮方式,適合卡通形態的大區域顏色很適合。
  • 圖形codec,對於每一點8位(8-bit-per-pixel)的圖像優化,包含有抖色en:dithering的圖形。

  蘋果電腦在1992年後期發放了Mac操做系統的1.5版本。

  蘋果電腦在1994年二月發佈了QuickTime 2.0 for Mac OS版--這個是惟一的一個難免費的版本。在這個版本中加入了對音樂軌跡的支持,音樂軌跡至關於MIDI的數據,這個功能能夠驅動sound- synthesis引擎自我建立於QuickTime中(使用的聲音許可證來自Roland),或者是任何外部的MIDI設備,所以建立出來的聲音只佔用 一小部分的電影數據。

  在接下來的2.1和2.5版本中,QuickTime繼續免費。工程師改良了對音樂的支持並增長了sprite軌跡,這個功能能夠實現建立複雜的動畫,文件大小就只比靜態的圖片大一點。

  QuickTime 2.0 for Windows發佈於1994年11月。

QuickTime歷史:1998 - 2001: 3.0 and 4.0

  運行於Mac OS的QuickTime 3.0於1998年3月30日發行。其現有的功能是免費的,但若是要得到Apple所提供的具備更多特性的QuickTime Player和Picture Viewer程序,最終用戶須要經過購買一個QuickTime Pro 許可證來解除對軟件的限制。

  QuickTime 3.0增長了支持圖像導入的組件,從而能夠從GIF、JPEG、TIFF和其餘文件格式中讀取圖像。而經過FireWire主要做爲視頻數據輸出的視頻輸 出組件一樣增長了視覺效果,使程序員能夠把實時技術運用到視頻軌道中。一些效果甚至能夠響應用戶的鼠標單擊,就像是電影自己的交互支持同樣。

  蘋果於1999年6 月10日發行了QuickTime 4.0 for Mac OS。它增長了圖像導出組件,支持輸出成與預導入者能夠閱讀的相同格式的非GIF格式(或許是由於LZW許可)。它增長了Sorenson video codec的第一個版本,而且支持streaming。

  QuickTime 4.1於2000年伊始發佈,增長了在Mac OS 9及後續版本中播放超過2G的電影;而且終止了對68K Mac的支持。用戶得到了操做QuickTime Player viaAppleScript的能力。

QuickTime歷史:2001 - present 5.0 and later 
  QuickTime 5.0 for Mac OS於2001年4月23日出現。它增長了"皮膚"功能和多處理圖像壓縮支持。在這一版本中只有擁有QuickTime Pro許可證的用戶才能夠使用全屏模式,這一作法引發了爭議,至今還沒有解決。

QuickTime歷史:QuickTime 6.x 
  QuickTime 6.0 for Mac OS,於2002年7月15日釋出,第一次包括Mac OS X使用的版本。

更新至QuickTime 6

釋出日期

版本

平臺

特點

2002 年 7 月15 日

QuickTime 6

Mac OS 8.6 –Mac OS X ,Windows

MPEG-2 、MPEG-4 以及AAC

2003 年 1 月14 日

QuickTime6.1

Mac OS X

品質與效能的增進

2003 年 3 月31 日

QuickTime 6.1

Windows

修正CAN-2003-0168 安全性弱點

2003 年 4 月29 日

QuickTime 6.2

Mac OS X

對於iTunes 4 的支持、增進的AAC 支持

2003 年 6 月3 日

QuickTime 6.3

Mac OS X, Windows

3GPP 與AMR

2003 年 10 月16 日

QuickTime 6.4

Mac OS X, Windows

Pixlet 編碼解碼器、集成3GPP

2003 年 12 月18 日

QuickTime 6.5

Mac OS X, Windows

3GPP2 與AMC 移動式多媒體格式

2004 年 4 月28 日

QuickTime 6.5.1

Mac OS X, Windows

Apple Lossless

2004 年 10 月27 日

QuickTime 6.5.2

Mac OS X, Windows (對Windows 98/Me 的最後一個版本)

修正程序錯誤、安全性更新、以及品質與效能的增進

2005 年 10 月12 日

QuickTime 6.5.3

Mac OS X v10.2.8

 

QuickTime歷史QuickTime 7.x

  更新至QuickTime 7。

更新至QuickTime 7

釋出日期

版本

平臺

特點

2005 年 5 月31 日

QuickTime 7.0.1

Mac OS X

修復一個關於Quartz Composer 外掛模塊 的安全性問題

2005 年 7 月15 日

QuickTime 7.0.2

Mac OS X

修復程序錯誤與兼容性的增進

2005 年 9 月7 日

QuickTime 7.0.2

Windows 2000 /XP

第一個非預覽版本釋出

2005 年 10 月12 日

QuickTime 7.0.3

Mac OS X & Windows 2000 /XP

流 與H.264 的程序錯誤修復。
須要經過iTunes Music Store 支持視頻的購買。

2005 年 10 月29 日

QuickTime 7.0.3.50

Windows 2000 /XP

 

2006 年 1 月10 日

QuickTime 7.0.4

Mac OS X & Windows 2000 /XP

第一個通用二進制 版本。
衆多的程序錯誤修復與H.264 效能的改善。

2006 年 5 月11 日

QuickTime 7.1

Mac OS X & Windows 2000 /XP

衆多的程序錯誤修復、對於iLife '06 的支持、以及H.264 效能的改善

2006 年 5 月31 日

QuickTime 7.1.1

Mac OS X

 

2006 年 6 月28 日

QuickTime 7.1.2

Mac OS X

Addresses an issue previewing iDVD projects.

2006 年 9 月12 日

QuickTime 7.1.3

Mac OS X & Windows 2000 /XP

程序錯誤修復與嚴重的安全性問題。

  現時QuickTime的最新版本是QuickTime 7.6,但Windows 2000能夠使用的最高版本倒是7.1.6。在7.5.5以前的版本,都存在Cross site scriping的安全性問題。
QuickTime的歷史:QuickTime X

  QuickTime X(讀做Quicktime Ten,當中 的"X"是羅馬數字的十)是下一世代的QuickTime,在2008年6 月9日的WWDC上 發表。產品預期會在2009年的年中隨同Mac OS X v10.6推出[3]。Version X會使用與iPhone OS相同的媒體技術,並支持更新的編碼及更具效益的媒體播放功能。
Sorenson Video

Sorenson Video 2:

Sorenson Media 公 司開發的編碼器,主要用於QuickTime 4 的視頻編碼,質量較差。

Sorenson Video 3:

Sorenson Media 公 司隨 QuickTime 5發佈的編碼器,質量很不錯,已經成爲 QuickTime 的標準視頻編碼,網絡上大部分電影預告片都採用這種編碼。

Apple MPEG-4

  Apple 公司本身開發的 MPEG-4 編碼器,隨 QuickTime 6 發佈,質量不好。

Apple H.264

  Apple 公司本身開發的 H.264 編碼器,隨 QuickTime 7 發佈,支持 HDTV。

Audio QDesign Music

QDesign Music 1

QDesign 公司開發的音頻編碼器,這個版本如今已經開不到它的身影了。

QDesign Music 2

QDesign Music 的 第二個版本,也是最後一個版本,在時下這些先進的音頻編碼面前,它已經沒有生命力了,主要應用於網上的電影預告片。

Audio Apple MPEG-4 AAC

  Apple 公司本身開發 的 AAC 編碼器,質量很是好,是最優秀的 AAC 編碼器之一,隨 QuickTime 6 發佈。

Apple Lossless

  Apple 公司開 發的無損音頻編碼,主要應用於 iTunes 抓取 CD。Apple Lossless(AppleLossless Audio Codec、ALAC)爲蘋果的無損音頻壓縮編碼格式。 在 iTunes 上名稱爲 Apple Lossless。

  可將非壓縮音頻格式(WAV、AIFF)壓縮至原先容量的40%至60%左右,編譯碼速度很快。也由於是無損壓縮,聽起來與原檔案徹底同樣,不會因解壓縮和壓縮而改變。

  它在2004年4月28日公佈的iTunes4.5和QuickTime6.5.1 的其中一部份。目前攜帶型數字多媒體播放器中只有 iPod 可播放。

  雖爲非自由軟件或開放原始碼軟件、但 Apple Lossless 的開放原始碼譯碼器已經釋出。

注:上述材料來源於wiki的整理。

編解碼學習筆記(十):Ogg系列

Ogg是一個自由且開放標準的容器格式,由Xiph.Org 基金會所維護。Ogg格式並不受到軟件專利的限制,並設計用於有效率地串流媒體和處理高質量的數字多媒體。

  Ogg意指一種文件格式,能夠歸入各式各樣自由和開放源代碼的編解碼器,包含音效、視頻、 文字(像字幕)與元數據的處理。

OggTheora

  Theora是一個免權利金、開放格式的有損影像壓縮技術,由Xiph.Org基金會開發,該基金會還開發了著名的聲音編碼技術Vorbis, 以及多媒體容器檔案Ogg。Theora 是由 On2Technologies 公司專屬的 VP3 編碼器通過開放源代碼後衍生而來。Theora 的命名來自於一個電視節目Max Headroom。

  Theora是一個可 變位速率、以DCT爲基礎的影像壓縮格式。和多數的影像編碼格式同樣,Theora 使用了色度抽樣、block basedmotion compensation 和 8×8 DCT block,也支援視 訊壓縮圖像類型和 視 訊壓縮圖像類型,可是不支持使用在 H.264 和 VC-1 的 bi-predictive frames(B-frame),Theora 也不支援 隔 行掃描, variable frame rates, 或 bit-depths larger than 8 bits per component。

  Theora 的影像流能夠儲存在任何的容器檔案格式中,最經常使用的是和聲音編碼Vorbis一塊兒儲存在Ogg檔案格式中,這種方式能夠提供徹底開放、免權利金的多媒體檔案。此外Theora影像也能夠儲存在Matroska檔 案中。

  Google官方blog稱,Web視頻目前沒有一個標準,有些網站使用Flash,但這要求用戶有Flash播放 器;有些使用Java播放器,但爲了在JVM虛擬機中解碼視頻和音頻用戶須要一個配置很高的機器;等等諸如此類。

  好消息是新一代的 HTML 5標準引入了視頻元素,Web開發者能夠用一種標準的方式指定視頻的外觀。如今問題變成了使用哪種視頻格式。

  Google 認爲開放標準格式能夠成爲目前無序的視頻格式之爭的底線。最後的權益方案不須要最複雜的格式,或者是最大張旗鼓宣傳,幾乎已成爲行業標準的格式,所以他們決定選擇支持使用普遍的開源Ogg Theora格式。

  Theora是On2 Technologies 公司的 VP3 編碼器的開源衍生版,Google於去年收購了On2公司。

  資料來源:http://tech.it168.com/a2010/0412/872/000000872493.shtml

  在2002年3月,On2將許可改成下週VP3開源代碼爲LGPL。在2002年6月,On2將VP3做爲 Xiph.Org僅僅和下的一個相似BSD的開源許可。On2還制定了一個不可更改的免版權費的聲明,任何人能夠用於任何軟件,任何的衍生產品以及任何目 的。2002年88月,On2與Xiph.Org簽定一項協議,將VP3做爲一個新的,免費的視頻編解碼,成爲Theora。On2宣稱Theora是 VP3的一個繼任者。在2002年10月3日,On2和Xiph宣佈Theora最先的Alpha代碼釋放。

  比特流格式在2004年凍結(version 1.0 alpha3),有通過了幾年的beta版本,Theora第一穩定版本(v1.0)在2008年11月釋放。Theora任何版本的視頻編碼在格式凍結後都與將來的播放器兼容。目前的工做集中在「Thusnelda」分支的bug修復,目前爲beta版本,將最後做爲Theora1.1版本釋放。

  Theora視頻壓縮格式基本上與VP3視頻壓縮格式兼容,包含一個後先兼容的超集。Theora是VP3和 VP3流(有小量語法修訂)的超集,VP3流能夠不通過從新壓縮改成Theora流,可是反過來把成立。VP3視頻壓縮能夠由Theora來實現解碼,但 是Theora視頻演示一般不可以使用古老的VP3來進行解碼。

  Theora將視頻格式創建在開源的基礎上,並做爲基百科視頻內容選擇的編碼格式。然而,Theora缺乏商業支持,並正努力獲取分銷商尤爲是網絡分銷商接受。

  Mozilla使用這項技術在Firefox上提供HTML5視頻。蘋果和微軟的HTML5視頻都準備採用 MPEG LA管理的H.264。該團體的成員包括微軟和蘋果,及許多科技公司。

  這裏面的爭議關鍵在於license的問題,H.264是須要給license的。

  Mozilla則發出如下聲明:「咱們相信,HTML5視頻在多方、開放和無權利金的編/解碼器,以同於W3C 受權標準之方式支持下,才符合公衆利益。如 果MPGA LA願意根據W3C標準定義的開放網絡條件提供H.264,咱們絕對會考慮採用這項技術。本組織堅持咱們對Theora的立場。」

  Opera首席技術官Hakon Wium Lie也提供下列聲明;「爲了開放網絡的成長茁壯,全部媒體(包括視頻),必須在無需支付編/解碼器受權費的前提下使用。真正支持一個開放網絡的瀏覽器製造商,必須努力建造一個無受權費的基本影音編/解碼器。」

  微軟的公司博客寫道:「源代碼可否取得,與知識產權之間的區別,在於可取用的源代碼是極度必要的。目前,H.264的知識產權,可經過MPEG LA管理的一個定義明確的方案取得。其它編/解碼器的權利一般較不清楚。」

Ogg Vorbis

Ogg 的音頻編碼, 質量很是優秀,特別是低碼率下,支持多聲道。最高碼率可以達到500kbps,是 AAC 的有力競爭者。

  「Ogg」這個詞彙一般意指Ogg Vorbis此一音頻文件格式,也就是將Vorbis編碼的音效包含在Ogg的容器中所成的格式。在以往,.ogg此一擴展名曾經被用在任何Ogg支持格 式下的內容,但在2007年,Xiph.Org基金會爲了向後兼容的考慮,提出請求,將.ogg只留給Vorbis格式來使用。Xiph.Org基金會決定創造一些新的擴展名和媒體格式來描述不一樣類型的內容,像是隻包含音效所用的.oga,包含或不含聲音的影片(涵蓋 Theora)所用的.ogv和程序所用的.ogx。

  Vorbis的是一個 開源自由軟件 項目負責人是 Xiph.Org基金會。該項目產生的數位音頻格式規範和軟件實施(編譯碼器)爲有損音頻壓縮。 Vorbi是最經常使用的結合與Ogg容器格式,所以一般被稱爲 Ogg Vorbis格式.

  Vorbis是一個延續的音頻壓縮的開發始於 1993年克里斯蒙哥馬利.集約發展始於1998年9月後,信弗勞恩霍夫協會 該公司宣佈將收取許可費爲 MP3音頻格式。Vorbis的項目開始做爲公司的一部分,Xiph.Org 基金會的Ogg項目(也稱爲 OggSquish多媒體項目)。克里斯蒙哥馬利開始工做的項目,並協助愈來愈多的其它開發商。他們繼續完善源代碼 直到Vorbis的文件格式被凍結 2000年5月爲 1.0 和一個穩定的版本(1.0)的參考軟件發佈於 2002年7月19日。

OggSpeex

  Ogg 的語音編碼,專門針對低碼率的語音編碼。

Ogg FLAC

Ogg 的無損音頻編碼。

On2 VPX 系列

On2 公司開發了一系列優秀的視頻編碼,如今應用得最多的恐怕是 NullsoftVideo 的視頻,它們就採用了 VP3,VP5,VP6 視頻編碼。

VP3

  已經做爲開放源代碼公佈,如今 是 Ogg Theora 項目,固然,Theora 的質量可比 VP3 好多了。

VP4

  On2 公司當年吹牛全球最好的視頻編碼,後來證實質量很通常。

VP5

  至今還很神祕,On2 並無放出來,只在 NullsoftVideo 裏面見到他的身影。

VP6

  從一開始,On2 就把這個編碼器提供給你們下載,質量仍是不錯的。不過最近彷佛又關閉了,主頁上只有一個解碼器。On2 TrueMotion VP6是一個專有的有損視頻編解碼格式和視頻編解碼器。它是TrueMotion視頻編解碼的具體體現,是一系列由On2開發的視頻編解碼,通產個用於 Adobe flash,Flash Video和JavaFX媒體文件。

VP7

  On2 最新的編碼器,在 VP6 上有很多進步。在2005年1月,On2宣佈推出比VP6有更好的壓縮比的新的編解碼VP7。在2005ian4月,On2公司許可On2視頻編碼器9包 括VP6和VP7)用於Macromedia Flash。在2005年8月,Macromedia宣佈他們選擇VP6做爲新的Flash Player8的視頻回放的旗艦式編解碼。

VP8

  Google在2009年收購了On2 Technologies,並於2010年5月19日在Google I/O會議上宣佈將VP8以BSD許可證的形式開源。。VP8是On2 Technologies繼VP3以後宣佈開源的第二個編解碼器。(Xiph.Org 基金會於2002年接手VP3並將之冠名以Theora,以後以BSD許可證的形式將Theora開源)。要求Google將VP8開源的最大呼聲來自於 自由軟件基金會。2010年3月12日,自由軟件基金會給Google發了一封公開信,請求Google逐漸用開源形式的VP8和HTML 5取代YouTube上的Adobe Flash和H.264。

  2010年5月19日,WebM啓動。WebM包含了來自於Mozilla、Opera、Google以及其餘四十多家出版商和計算機軟硬件供 應商(包括AMD、NVIDIA)的貢獻,旨在大力倡導在HTML5中使用VP8。InternetExplorer 9在安裝了適合的編解碼器以後也能支持VP8。

注:上述材料來源於wiki的整理。

編解碼學習筆記(十一):Flash Video系列

用於在 Flash 中壓縮視頻。FLV流媒體格式是一種新的視頻格式,它的出現有效地解決了視頻文件導入Flash後,使導出的SWF文件體積龐大,不能在網絡上有效使用等 缺點。通常FLV文件包在SWF PLAYER 的殼裏,而且FLV能夠很好的保護原始地址,不容易被下載到,從而起到保護版權的做用。

  • 文件名: .flv, .f4v, .f4p, .f4a, .f4b
  • 媒體類型:video/x-flv, video/mp4, video/x-m4v, audio/mp4a-latm, video/3gpp, video/quicktime, audio/mp4
  • 廠家:Adobe Systems (originally developed by Macromedia)
  • Type of format: Media container
  • Container for :Audio, video, text, data Extended from
  • 擴展:FLV: SWF ,F4V: MPEG-4 Part 12

Flash介紹

  Flash Video是一個文件容器格式,是Adobe Flash播放器版本6-10用於在互聯網上傳遞視頻。Flash視頻內容也能夠封裝在SWF文件。Flash視頻有兩種不一樣的文件格式:FLV和 F4V。FLV文件中,同SWF文件同樣音頻和視頻數據採用相同方式進行編碼。晚出現的F4V,它的格式是基於ISO爲基礎的媒體文件格式,並在 Flash Player 9 update 3中開始獲得支持。這些格式Adobe Flash播放器都能支持,並由Adobe公司開發,其中FLV最找石油Macromedia公司開發的。

  Flash視頻FLV文件所包含的媒體的編碼一般採用Sorenson Spark和VP6視頻壓縮格式。最新發布的Flash播放器支持H.264視頻和HE-AAC音頻。全部的這些編解碼目前受到專利的限制。

  Sorenson編解碼看參考如下兩種專用的視頻編解碼:Sorenson Video或者Sorenson Spark。Sorenson Video也被稱爲Sorenson Codec,Sorenson Video Quantizer或者SVQ。Sorenson Spark也稱爲Sorenson H.263。這些編解碼都是有Sorenson 媒體公司設計(及之前的Sorenson Vision公司)。Sorenson Video在Apple的QuickTime中使用,SorensonSpark在Adobe Flash(之前的MacromediaFlash)中使用。

  Flash視頻經過普遍使用的Adobe Flash播放器和瀏覽器的plugin或者其餘的第三方程序,使它能在絕大可能是的操做系統均可以使用。

一般Flash視頻FLV文件包含的視頻比特流是一個專有的H.263視頻標準的變體,FourCC爲 FLV1(Sorenson Spark)。SorensonSpark是一個FLV文件老式編解碼,但被普遍應用和兼容,所以它是第一個被Flash Player支持的視頻編解碼。這是在Flash Player 6和7要求的視頻壓縮格式。Flash Player 8和更新的版本支持On2 TrueMotion VP6視頻比特流回放(FourCC VP6F或者FLV4)。On2 VP6是FlashPlayer 8或者更高版本優先使用的視頻壓縮格式。On2 VP6能夠提供可以提供比Sorenson Spark更高視覺質量,尤爲在低比特流中。另外它的計算更爲複雜,所以在某些古老的系統配置中沒法很好使用。

  Flash 9 update 3,在2007年12月3日釋放,提供了新的Flash視頻文件格式F4V,支持H.264視頻標準(也即MPEG-4part 10或者AVC),H.264須要更復雜的技術,可是提供更加卓著質量/比特流比例。具體而言,Flash播放器如今支持H.264視頻壓縮(MPEG- 4 Part 10),AAC音頻壓縮(MPEG-3 Part 3),F4V,MP4(MPEG-4 Part14),M4V,3GP和MOV多媒體容器格式,3GPP Timed Text標準(MEPG-4 Part 17)(這是一個標準的的字幕格式,可以部分解析ID3的’ilist’,等同於iTunes使用的metadata存儲。不支持MPEG-4 Part 2視頻(例若有DivX或者Xvid建立)。Jonathan Gay,一個Flash的主要程序員在接收BBC新聞採訪時表示:公司最初想在Flash中使用H.264,可是被每一年5百萬美金(3.5百萬英鎊)的專 利許可費而卻步。

  Flash Video FLV文件格式支持兩個成爲「screenshare‘(Screen Video)編解碼的版本,這是一種用於桌面演示的編碼格式。這兩種格式都是基於tmap平鋪方式,能夠經過減小色深進行有損編碼,並使用zlib壓縮。 第二個版本之在Flash播放器8以及更新的版本支持。

  在Flash視頻文件中,一般使用MP3做爲音頻編碼然而,在Flash視頻FLV文件經過麥克風錄音使用專用 的Nellymoser Asao編解碼(Flash Player 10 在2008年發佈,也支持開源的Speex編解碼)。FLV文件支持不壓縮的音頻或ADPCM音頻格式。最新的Flahs Player 9 支持AAC(HE-AAC/AAC SBR,AAC Main Profile,和AAC-LC)。

  編碼爲Flash Video文件有一個編碼工具提供,包括Adobe的Flash Professional和Creative Suite產品,On2的Flix編碼工具,SorensonSqueeze,FFmepg和其餘第三方工具。

容器

  在2002年發佈的Flash Player6增長了對SWF文件格式的支持。在2003年,FlashPlayer7增長了對FLV文件格式的直接支持。因爲FLV文件格式的限制,Adobe System公司在2007年提出下面列出的新的文件格式,是基於ISO基本媒體文件格式(MPEG-4 Part 12)。Flash播放器不檢查文件的擴展名,而直接查看文件,檢查屬於那種格式。

文件擴展名

Mime Type

描述

.f4v

video/mp4

Video for Adobe Flash Player

.f4p

video/mp4

Protected Video for Adobe Flash Player

.f4a

video/mp4

Audio for Adobe Flash Player

.f4b

video/mp4

Audio Book for Adobe Flash Player

  在Flash Player6及之後的版本對SWF文件的支持,使得能夠與Adobe Flash媒體服務器經過RTMP來進行音頻,視頻和數據的交互。Flash媒體服務器的數據支持採用FLV文件格式的文件(MIME類型爲 video/x-flv)。從Flash Player 9 Update 3開始建立的SWF文件,Flash Player能夠播發新的F4V文件格式。

媒體格式

  在FLV文件中支持的媒體類型:

  • 視頻:On2 VP6,Sorneson Spark(Sorenson H.263),Screen Video,H.264
  • 音頻:MP3,ADPCM,Linear PCM,Nellymoser,Speex,AAC,G.711(保留用於互通需求)

  在F4V文件中支持的媒體類型:

  • 視頻:H.264
  • 圖像(視頻數據的靜止幀):GIF,PNG,JPEG
  • 音頻:AAC,HE-AAC,MP3

在Flash Player和Flash Video中支持的音視頻壓縮格式

Flash Player version

Released

File format

Video compression formats

Audio compression formats

6

2002

SWF

Sorenson Spark, Screen video

MP3, ADPCM, Nellymoser

7

2003

SWF, FLV

Sorenson Spark, Screen video

MP3, ADPCM, Nellymoser

8

2005

SWF, FLV

On2 VP6, Sorenson Spark, Screen video, Screen video 2

MP3, ADPCM, Nellymoser

9.0.115.0

2007

SWF, FLV

On2 VP6, Sorenson Spark, Screen video, Screen video 2, H.264[*]

MP3, ADPCM, Nellymoser, AAC[*]

   

SWF, F4V, ISO base media file format

H.264

AAC, MP3

10

2008

SWF, FLV

On2 VP6, Sorenson Spark, Screen video, Screen video 2, H.264[*]

MP3, ADPCM, Nellymoser, Speex, AAC[*]

   

SWF, F4V, ISO base media file format

H.264

AAC, MP3

[*]在FLV文件格式中使用H.264和AAC壓縮有一些限制,Flash Player的做者強烈推薦你們使用新的F4V文件格式。

Flash傳遞的幾種方式

1、做爲一個標準的flv文件。

2、嵌入SWF文件,使用Flash認證工具(在FlashPlayer 6及之後的版本支持)。

3、經過HTTP的漸進流下載(progressive download)。這種方式使用ActionScript,包括客戶端側的一個外部託管Flash Video文件用於播放。然而,和使用RTMP的媒體流不同,HTTP「流」不支持實時廣播。HTTP流要求一個定製的播放器以及包含每一個關鍵幀精確開 始字節位置以及時間碼的特定FlashVideo元數據的加入。使用這些特定的信息,定製Flash Video播放器能夠要求在任何指定的關鍵幀中開始播放。例如,Google Video,Youtube和BitGravity支持漸進流下載,能夠在緩存滿以前查看視頻的任何部分。在服務器側,這種「假HTTP流「方式實現至關 簡單,例如能夠採用Apache的PHP模塊,使用lighttpd。

4、採用RTMP協議的流,可提供的有Flash媒體服務器(之前稱爲Flash Communication Server),VCS,Electro Server,Helix Universal Serval,Wowza Pro,用於.NET的WebORB,用於Java的WebORB,以及開源的Red5服務器。在2008年4月,這個協議有流錄像提供,不須要從新編碼 的screencast軟件。

  RTMP,實時消息協議,Real Time Message Protocol是一個有Adobe System爲在互聯網的音頻,視頻和數據流開發的私有協議,運行在Flash播放器和服務器之間。RTMP協議有三個方式:
一、 經過在TCP上,使用1935端口的「純」協議。 
二、 用於在穿越防火牆時,在HTTP請求中封裝的RTMPT。 
三、 在HTTPS的安全鏈接中使用的RTPMS。

注:上述材料來源於wiki的整理。

編解碼學習筆記(十二):其餘編解碼

M-JPEG

  M-JPEG(Motion-JoinPhotographicExpertsGroup)技術即運動靜止圖像(或逐幀)壓縮技術,普遍應用於非線性編輯領域可精確到幀編輯和多層圖像處理,把運動的視頻序列做爲連續的靜止圖像來處理,這種壓縮方式單獨完整地壓縮每 一幀,在編輯過程當中可隨機存儲每一幀,可進行精確到幀的編輯,此外M-JPEG的壓縮和解壓縮是對稱的,可由相同的硬件和軟件實現。

  一樣格式的MPEG視 頻壓縮不一樣於幀間壓縮,由於壓縮比特率比較低,因此編碼與 解碼相對比較容易,並不須要過多的運算能力,也使得軟件或者芯片能夠十分容易地對Motion JPEG進行編輯。也由於此,一些移動設備,如數碼相機使用MotionJPEG來進行短片的編碼。

Motion JPEG 2000

  JPEG2000是基於小波變換的圖像壓縮標準,由Joint PhotographicExperts Group組織建立和維護。JPEG2000一般被認爲是將來取代JPEG(基於離散餘弦變換)的下一代圖像壓縮標準。JPEG2000文件的副檔名一般爲.jp2,MIME類型是image/jp2。

  雖然JPEG2000在技術上有必定的優點,可是到目前爲止(2006年),互聯網上採用JPEG2000技術 製做的圖像文件數量仍然不多,而且大多數的瀏覽器仍然沒有缺省支持JPEG2000圖像文件的顯示。可是,因爲 JPEG2000在無損壓縮下仍然能有比較好的壓縮率,因此JPEG2000在圖像品質要求比較高的醫學圖像的分析和處理中已經有了必定程度的普遍應用。

DivX

  • 文件名擴展: .divx
  • 類型:DIVX
  • 開發者: DivX,Inc
  • 格式類型:媒體容器,用於MPEG-4 Part 2–compliant video
  • 擴展來源:AVI

  這是由MPEG-4衍生出的另外一種視頻編碼(壓縮)標準,也即一般所說的DVDrip格式,它採用了MPEG4 的壓縮算法同時又綜合了MPEG-4 與MP3各方面的技術,說白了就是使用DivX壓縮技術對DVD盤片的視頻圖像進行高質量壓縮,同時用MP3或AC3對音頻進行壓縮,而後再將視頻與音頻 合成並加上相應的外掛字幕文件而造成的視頻格式。其畫質直逼DVD而且體積只有DVD的數分之一。這種編碼對機器的要求也不高,因此DivX視頻編碼技術 能夠說是一種對DVD形成威脅最大的新生視頻壓縮格式,號稱DVD殺手或DVD終結者。

  DivX,是DivX公司(前身是DivXNetworks公司)的著名品牌,是一種MPEG-4技術視頻編譯碼器(codec),2007年秋以2200萬美圓收購德國MainConcept。

  ISO公佈了「超低比特率活動圖像和語音壓縮標準 」,排序MPEG-4,1998年10月批准初版,1994年4月又公佈了第二版及其校驗模型(VM),MPEG-4正式編號是ISO/IEC國際標準 14496,它是一種新型的多媒體標準,它與前標準一個重要區別就在於,是一個基於對象的視編碼壓縮標準,所定義的碼率控制的目標就是得到在給定碼率下的最優質量,它爲互聯網上傳輸高質量的多媒體視頻提供了很好的技術平臺。

  1998年微軟開發了第一個在PC上使用的MPEG-4編碼器,它包括MS MPEG4V一、MSMPEG4V二、MS MPEG4V3的系列編碼內碼,其中V1和V2用來製做AVI文件,一直到如今它都是做爲Windows的默認組件,不過V1和V2的編碼質量不是很好,一直到MS MPEG4V3纔開始有好轉,畫質有了顯着的進步,可是不知微軟出於什麼目的,卻將這個MS MPEGV3的視頻編碼內核封閉,僅僅使其應用於Windows Media流媒體技術上,也就是咱們熟悉的ASF流媒體文件中。ASF文件雖然有一些優點,可是因爲過度的封閉不能被編輯,末獲得普遍應用,這便惹怒了那些個不怕天不怕地的視頻黑客和致力於鑽研視頻編碼的高手,後來,這些小組不只破解了微軟的視頻編碼,並且通過他們的修改,一種新的視頻編碼誕生了:那就是 廣爲流傳的MPEG編碼器-DivX3.11。

  DivX採用了MS的MPEGV3,改良後並加入本身功能稱之爲DivX3.11,也是目前互聯網上普通採用的 MPEG-4編碼器之一。很快,DivX被傳得紅得發紫,幾乎成了業界的標準,可是,一樣很快地出現了,DivX的基礎技術是非法盜用微軟的,微軟聲稱將 對全部推進DivX發展的人、企業進行追究,但是DivX技術的創造者之一羅達(Rota)正全面申請將DivX合法化,這是基於DivX雖然是從 Window的發明出來的,但卻沒有用過任何微軟的技術,更組建新公司DivXNetworks全力推廣DivX,看來DivX(俗稱壓縮電影)蓬勃發展 的大潮是勢不可擋了。

  看來任何吸引眼球的故事在關鍵時刻都會發生轉折,DivX的發展竟也不能脫離這一俗套,就在DivX順利發展時 期,DivX的技術逐漸成熟,商機無限的時候,一臺好戲上演了,DivXNetworks成立初衷就是擺脫微軟的技術封閉,於是發起一個徹底開放源碼的項目,名爲 「 Projet Mayo 」,目標是開發一套全新的、開放源碼的MPEG4編碼軟件,因爲它徹底符合ISO MPEG標準,又是徹底開放源代碼,OpenDivXCODEC吸引了 不少軟件,視頻高手參與,很快便開發出具備更高性能的編碼器Encore2等等,就在DivX最輝煌的時期,DXN公司忽然封閉了DivX的源代碼,並在 Encore2的基礎上發佈了自有產品DivX4,原來DXN早就給本身留了後門,DivX採起的是LGPL協議,而不是GPL協議,雖然說它們都是公共許 可證協議,保障自由使用和修改軟件或源碼的權利,但LGPL容許私有,DXN就是利用這一協議初其不備的耍出了大刀。

  接着,不少被DXN公司狠狠涮了一回的軟件、視頻團體另起門戶,逐漸從新聚攏開發力量,高舉復仇大旗,在OpenDivX版本基礎上,再次開發出一種新的MPEG-4編碼--XviD,名字的順序和DviX恰好相反,僅僅從名字就能夠看出Xvid充滿了復仇的力量。

  DivX是近一兩年來稱霸網絡視頻的圖像壓縮編碼標準。起初它是以微軟MPEG 4視頻編碼標準爲基礎修改和開發的,並以避免費方式發佈。其特色是具備十分不錯的壓縮比率,能夠將一整套DVD質量的影片壓縮存放到一張CD-R光盤中。現 在的DivX分爲普通版和Pro版,其中後者還有收費版和Adware(廣告)版兩種,自帶DivX Player程序進行播放。用戶若是安裝了免費的DivX Codec後,也可用Windows Media player觀看DivX影片。

注:上述材料來源於wiki的整理。

編解碼學習筆記(十三):容器(上篇)

視頻是如今電腦中多媒體系統中的重要一環。爲了適應儲存視頻的須要,人們設定了不一樣的視頻文件格式來把視頻和音頻放在一個文件中,以方便同時回放。視頻檔實際上都是一個容器裏面包裹着不一樣的軌道,使用的容器的格式關係到視頻檔的可擴展性。

  FourCC全稱Four-Character Codes,是由4個字符(4 bytes)組成,是一種獨立標示視頻數據流格式的四字節,在wav、avi檔案之中會有一段FourCC來描述這個AVI檔案,是利用何種codec來 編碼的。所以wav、avi大量存在等於「IDP3」的FourCC。

ISO/IEC

MPEG-PS · MPEG-TS · MPEG-4 Part 12 /JPEG 2000 Part 12 · MPEG-4 Part 14

ITU-T

H.222.0

Others

3GP and 3G2 · ASF · AVI · Bink · DivX Media Format · DPX · EVO · Flash Video · GXF · M2TS ·Matroska · MXF · Ogg · QuickTime File Format · RealMedia · REDCODE RAW · RIFF · Smacker ·MOD and TOD · VOB · WebM

Audio Only

AIFF · AU · WAV

3GP和3G2容器  

  3GP(3GPP文件格式)是一個多媒體容器由第三代合做夥伴計劃(3GPP)針對3G UMTS多媒體服務定義。它用於3G移動電話,但也能夠用於某些2G和4G的電話。3GP在ETSI 3GPP技術規範中定義,他是視頻文件格式,並帶有講話/音頻媒體類型和帶時間信息的文本,用於IMS,MMS,多媒體廣播/多播服務(MBMS)和傳輸端到端的包交換流媒體服務(PSS)。

  3G2(3GPP2文件格式)是一個多媒體容器有3GPP2爲3G CDMA 2000多媒體服務定義。她與3GP文件格式很是類似,但與之相比存在一些擴展和限制。3G2在3GPP2技術規範中定義。

  3GP和3G2文件格式都是基於在ISO/IEC 14496-12(MPEG-4 Part 12)定義的ISO基礎媒體文件格式,可是老闆不的3GP文件格式不具備其中某些屬性。3GP和3G2與MP4(MPEG-4 Part 14)類似,MP4也是基於MPEP-4 Part 12。3GP和3G2設計目的是爲移動電話減小存儲和帶寬要求,它們是很是類似的標準,但有區別:

  • 3GPP 文件格式用於GSM類電話,文件擴展名:.3gp
  • 3GPP2文件格式用於CDMA類電話,並具備文件擴展名:.3g2

  3GP文件存貯視頻流:MPEG-4 Part2,H.263,MPEG-4 Part 10(AVC/H.264),音頻流 AMR-NB, AMR-WB, AMR-WB+,AAC-LC, HE-AAC v1 和 Enhanced aacPlus (HE-AAC v2)。3GPP容許ISO基礎文件格式(MPEG-4Part12)中使用AMR和H.263編解碼,由於3GPP在ISO基礎文件格式中規定了採樣條目和模板字段的使用,能夠爲編解碼定義新的box。這些 擴展在ISO基礎媒體文家格式(「MP4家族」文件)中由登記受權登記爲code-point。對於在3GP文件中存貯MPEG-4媒體,3GP規定參加了MP4和AVC文件格式規範,它們也是基於ISO基礎媒體文件格式。MP4和AVC文件格式規範描述在ISO基礎媒體文件格式中使用MPEG-4內容。 有些手機使用.mp4做爲3GP視頻的擴展。

  3G2文件格式能夠存貯與3GP文件格式相同的視頻流和以爲部分的音頻流。此外3G2能夠存在音頻流還包括 EVRC,EVRC-B,EVRC- WB,13K(QCELP),SMV,和VMR-WR。3G2規範還定義了在3GPP帶時間文件的某些貨站。3G2文件格式不支持Enhanced aacPlus (HE-AAC v2) 和AMR-WB+ audiostreams。對於在3G2文件中存在MPEG-4媒體(AAC音頻,MPEG-4 Part 2音頻,MPEG-4 Part 10/H.264/AVC),3G2規範說起了MP4 文件格式和AVC文件格式規範,在那裏描述了若是在ISO基礎媒體文件格式中使用這些內容。對於在3G2中存儲H.263和AMR內容,3G2規範參見了 3GP文件格式規範。

  3GP格式視頻有兩種分辨率:

  • 分辨率176×144,適合市面上全部支持3GP格式的手機。
  • 分辨率320×240,清晰,適合高檔手機、MP4播放器、PSP以及蘋果iPod.

ANIM

  ANIM標準的多媒體文件用於經典的Commodore Amiga的數字動畫。它遵循IFF ILBM主規範,他是第一個動畫格式被操做系統正式採納。

ASF

  微軟WMA和WMV的標準容器。

  WMV(Windows Media Video)是微軟公司開發的一組數字視頻編解碼格式的通稱,ASF(Advanced Systems Format)是其封裝格式。ASF封裝的WMV檔具備"數字版權保護"功能。擴展名:wmv/asf、wmvhd。

  ASF (Advanced Streaming format高級流格式)。ASF 是 MICROSOFT爲了和如今的 Real player 競爭而發展出來的一種能夠直接在網上觀看視頻節目的文件壓縮格式。ASF使用了 MPEG4 的壓縮算法,壓縮率和圖像的質量都很不錯。由於 ASF 是以一個能夠在網上即時觀賞的視頻"流"格式存在的,因此它的圖像質量比 VCD 差一點點並不出奇,但比同是視頻"流"格式的 RAM 格式要好。

  • 文件擴展名 :.asf .wma .wmv
  • 互聯網媒體類型: video/x-ms-asf, application/vnd.ms-asf
  • 類型碼 : 'ASF_'
  • 惟一類型碼 :Identifier com.microsoft.advanced-systems-format
  • Magic number :30 26 b2 75
  • 開發者 :Microsoft
  • 格式類型 :Container format
  • 容器容納 :WMA, WMV, MPEG4 etc.

AVI

  AVI (the standard Microsoft Windows container, also based on RIFF)。AVI是英語Audio Video Interleave("音頻視頻交織"或譯爲"音頻視頻交錯")的首字母縮寫,由微軟在 1992年11月推出的一種多媒體文件格式,用於對抗蘋果Quicktime的技術。如今所說的AVI可能是指一種封裝格式。

  比較早的AVI是Microsoft開發的。其含義是Audio Video Interactive,就是把視頻和音頻編碼混合在一塊兒存儲。AVI也是最長壽的格式,已存在10餘年了,雖然發佈過改版(V2.0於1996年發佈),但已顯老態。AVI格式上限制比較多,只能有一個視頻軌道和一個音頻軌道(如今有非標準插件可加入最多兩個音頻軌道),還能夠有一些附加軌道,如文字等。AVI格式不提供任何控制功能。擴展名:avi。

  AVI能使用的編碼:

  • 視頻名稱(括號內表示的是此視頻的FourCC) 
    o MPEG-1/-2 (MPEG/MPG1/MPG2)
    o MPEG-4 (MP4V/XVID/DX50/DIVX/DIV5/3IVX/3IV2/RMP4)
    o MS-MPEG4 (MPG4/MP42/MP43)
    o WMV7/WMV8/WMV9 (WMV1/WMV2/WMV3)
    o DV(DVSD/DVIS)
    o Flash Video (FLV1/FLV4)
    o Motion JPEG (MJPG)
    o LossLess JPEG (LJPG)
    o H.264 (AVC1/DAVC/H264/X264)
    o H.263 (H263/S263)
    o H.261 (H261)
    o Huffyuv (HFYU)
    o AVIzlib (ZLIB)
    o AVImszh (MSZH)
    o Theora (THEO)
    o Indeo Video (IV31/IV32)
    o Cinepak (cvid)
    o Microsoft Video 1 (CRAM)
    o On2VP3 (VP30/VP31)
    o On2VP4 (VP40)
    o On2 VP6 (VP60/VP61/VP62)
    o VC-1 (WVC1)
  • 音頻 
    o PCM
    o MP3 (0x0055)
    o AC-3 (0x0092)
    o AAC 
      - HE-AAC
      - LC-AAC
    o FLAC
    o Indeo Audio
    o TrueSpeech
    o WMA
    o Vorbis

  編碼組合能根據如下的例子自由選擇。

  • (DivX或XviD+MP3).avi,
  • (H.264+MP3).avi
  • (WMV9+MP3).avi

  以XviD+MP3構成的AVI最爲常見。

DVB-MS

  DVR-MS (Microsoft Digital Video Recording,微軟數字視頻錄製)是一種專用的視頻和音頻文件容器格式,有微軟開發,用於存儲由Windows XPMedia Center Edition,Windows Vista和Windows 7錄製的電視內容。多個數據流(視頻和音頻)在帶有DVR-MS擴展的ASF容器中封裝。視頻使用MPEG-2標準編碼,音頻使用MPEG-1 Layer II或者杜比數字AC-3(ATSC A/52)。擴展的格式包括內容和數字版權管理的元數據。這些格式的文件有流緩存引擎(SBE.dll)生成,這是一個在Windows XP Service Pack 1的DirectShow組件。

MPEG/MPG/DAT

  MPEG格 式:MPEG(Moving Picture Experts Group),是一個國際標準組織(ISO)承認的媒體封裝形式,受到大部份機器的支持。其存儲方式多樣,能夠適應不一樣的應用環境。MPEG-4檔的檔容 器格式在Part 1(mux)、14(asp)、15(avc)等中規定。MPEG的控制功能豐富,能夠有多個視頻(即角度)、音軌、字幕(位圖字幕)等等。MPEG的一個簡化版本3GP還普遍的用於準3G手機上。擴展名:dat(用於VCD)、vob、mpg/mpeg、3gp/3g2(用於手機)等。

  MPEG也是Motion Picture Experts Group 的縮寫。這類格式包括了 MPEG-1, MPEG-2 和 MPEG-4在內的多種視頻格式。MPEG-1相信是你們接觸得最多的了,由於目前其正在被普遍地應用在 VCD 的製做和一些視頻片斷下載的網絡應用上面,大部分的 VCD 都是用 MPEG1 格式壓縮的( 刻錄軟件自動將MPEG1轉爲 .DAT格式 ) ,使用 MPEG-1 的壓縮算法,能夠把一部 120 分鐘長的電影壓縮到 1.2 GB 左右大小。MPEG-2 則是應用在 DVD 的製做,同時在一些 HDTV(高清晰電視廣播)和一些高要求視頻編輯、處理上面也有至關多的應用。使用MPEG-2 的壓縮算法壓縮一部 120 分鐘長的電影能夠壓縮到 5-8 GB 的大小(MPEG2的圖像質量MPEG-1 與其沒法比擬的)。

  MPEG-PS:MPEG節目流(programstream),是MPEG-1和MPEG-2基準流的標準容器,用於在可靠介質上,例如磁盤,也用於DVD-Video光碟。

  MPEG-TS:MPEG傳輸流,是數字廣播和在非可靠媒體傳輸的標磚容器,也在藍光光碟使用,一般攜帶多個視頻和音頻流以及一個電子節目指南。

n AVI

  若是你發現原來的播放軟件忽然打不開此類格式的AVI文件,那你就要考慮是否是碰到了n AVI。n AVI是 New AVI 的縮寫,是一個名爲 Shadow Realm 的地下組織發展起來的一種新視頻格式。它是由MicrosoftASF 壓縮算法的修改而來的(並非想象中的 AVI),視頻格式追求的無非是壓縮率和圖像質量,因此 NAVI 爲了追求這個目標,改善了原始的 ASF 格式的一些不足,讓 NAVI 能夠擁有更高的幀率。能夠這樣說,NAVI 是一種去掉視頻流特性的改良型 ASF 格式。

注:上述材料來源於wiki的整理。

編解碼學習筆記(十四):容器(下篇)

Matroska(MKV)

  MKV ,不是任何的編解碼或者系統的標準,但實際上可封裝任何的東西。是一個開放以及開源的容器格式。

擴展名      .mkv .mka .mks 
互聯網媒體類型  video/x-matroska audio/x-matroska 開
發者       Matroska.org 
格式       視頻文件格式 
專門屬      多媒體 
自由文件格式?  Yes: GNU LGPL

  Matroska,不少人把它看成爲MKV,其實MKV只 是Matroska媒體系列的其中一種文件。Matroska是一種新的多媒體封裝格式,這個封裝格式可把多種不一樣編碼的視頻及16條或以上不一樣格式的音頻和語言不一樣的字幕封裝到一個Matroska Media檔內。它也是其中一種開放源代碼的多媒體封裝格式。

  多媒體封裝格式,簡稱MCF、多媒體容器,是一個開放(沒有身份規限,免費)及自由把數據存放的格式。開發者承諾你們能夠自 由地使用這種格式和經這種格式所開發的軟件;又不會在這種格式廣泛的時候變成一個商業的科研項目。

Matroska媒體定義了三種類型的檔:

  • MKV (Matroska Video File) :視頻檔,能夠包含音頻和字幕;
  • MKA (Matroska Audio File) :單一的音頻檔,能夠有多條及多種類型的音軌;
  • MKS (Matroska Subtitles) :字幕文件。

  這三種文件中以MKV最爲常見。

  Matroska最大的特色就是能容納多種不一樣類型的視頻編碼、音頻編碼及字幕流,而且它能把很是高密的RealMedia及QuickTime文 件也容納在內,同時將它們的音頻和視頻從新組織起來,從而達到一個更好和鮮明的效果。

  Matroska的開發是對多種傳統媒體格式的一次大挑戰,雖則如此,Matroska也被開發成一個多功能的多媒體容器。

MP4

  MP4,是MPEG-4定義的標準音視頻容器,基於ISO基礎媒體文件格式(在MPEG-4 Part 12以及JPEG 2000 Part 12中定義),在MPEG-4 Part 14中描述。是一種使用MPEG-4的多媒體電腦檔案格式,副檔名爲.mp4,以儲存數碼音訊及數碼視訊爲主。

擴展名     .mp4 
互聯網媒體類型 video/mp4, audio/mp4, application/mp4 
類型代碼    mpg4 
開發者     ISO 
格式      視頻文件格式 
專門屬     Audio, video, text
延伸自     QuickTime .mov and MPEG-4 Part 12 
標準      ISO/IEC 14496-14

MOD

  MOD格式是JVC生產的 硬盤攝錄機所採用的存儲格式名稱。

MOV

  MOV是評估公司的標準QuickTime視頻容器。QuickTime Movie是由蘋果公司 開發的容器,因爲蘋果電腦在專業圖形領域的統治地位,QuickTime格式格式基本上成爲電影製做行業的通用格式。1998年2月11 日,國際標準組織(ISO)承認QuickTime文件格式做爲MPEG-4標準的基礎。QT可存儲的內容至關豐富,除了視頻、音頻之外還可支持圖片、文字(文本字幕)等。擴展名:mov

  使用過Mac機的朋友應該多少接觸過QuickTime。QuickTime本來是Apple公司用於Mac計 算機上的一種圖像視頻處理軟件。 Quick-Time提供了兩種標準圖像和數字視頻格式 , 便可以支持靜態的PIC和JPG圖像格式,動態的基於Indeo壓縮法的MOV和基於MPEG壓縮法的MPG視頻格式。

Ogg

  Ogg是Xiph.org音頻編解碼Vorbis和視頻編解碼Theora的標磚容器,Ogg Media一個徹底開放性的多媒體系統計劃,OGM(Ogg Media File)是其容器格式。OGM能夠支持多視頻、音頻、字幕(文本字幕)等多種軌道。擴展名:ogg。

OGM

  OGM(Ogg Media),是Xiph.ofg的視頻編解碼容器,已經再也不支持,並不鼓勵使用。

RealMedia

  RealMedia是RealVideo和RealAudio的標準容器。Real Video或者稱Real Media(RM)檔是由RealNetworks開發的一種檔容器。它一般只能容納Real Video和Real Audio編碼的媒體。該檔帶有必定的交互功能,容許編寫腳本以控制播放。RM,尤爲是可變比特率的RMVB格式,體積很小,很是受到網絡下載者的歡迎。 擴展名:rm/rmvb

 RM

  Real Networks公司所制定的音頻/視頻壓縮規範Real Media中的一種,Real Player能作的就是利用Internet資源對這些符合Real Media技術規範的音頻/視頻進行實況轉播。在Real Media規範中主要包括三類文件:RealAudio、Real Video和Real Flash (Real Networks公司與Macromedia公司合做推出的新一代高壓縮比動畫格式)。REAL VIDEO (RA、RAM)格式由一開始就是定位就是在視頻流應用方面的,也能夠說是視頻流技術的始創者。它能夠在用 56K MODEM 撥號上網的條件實現不間斷的視頻播放,但是其圖像質量比VCD差些,若是您看過那些RM壓縮的影碟就能夠明顯對比出來了。

 RMVB

  這是一種由RM視頻格式升級延伸出的新視頻格式,它的先進之處在於RMVB視頻格式打破了原先RM格式那種平均 壓縮採樣的方式,在保證平均壓縮比的 基礎上合理利用比特率資源,就是說靜止和動做場面少的畫面場景採用較低的編碼速率,這樣能夠留出更多的帶寬空間,而這些帶寬會在出現快速運動的畫面場景時被利用。這樣在保證了靜止畫面質量的前提下,大幅地提升了運動圖像的畫面質量,從而圖像質量和文件大小之間就達到了微妙的平衡。另外,相對於DVDrip 格式,RMVB視頻也是有着較明顯的優點,一部大小爲700MB左右的DVD影片,若是將其轉錄成一樣視聽品質的RMVB格式,其個頭最多也就400MB 左右。不只如此,這種視頻格式還具備內置字幕和無需外掛插件支持等獨特優勢。要想播放這種視頻格式,能夠使用RealOne Player2.0或RealPlayer8.0加RealVideo9.0以上版本的解碼器形式進行播放。

VOB

  VOB文件(video Object)是一個DVD視頻媒體的容器格式。VOB能夠包含視頻,音頻,字母和菜單整合在一個流格式中。VOB是基於MPEG PS格式,可是有額外的限制和私有流的規範。MPEG PS提供非標準數據稱爲私有流。VOB文件是MEPG PS表站中很是嚴格的子集。經全部的VOB文件都是MPEG PS,但不是全部的MPEG PS都遵照VOB文件的定義。

  與MPEG的PS類似,VOB文件能夠包含H.262/MPEG-2 Part2或者MPEG-1 Part 2視頻,MPEG-1 Audio LayerII或者MOEG-2 Audio Layer II音頻,可是和MPEG PS相比,在VOB文件中使用這些壓縮格式有某些限制。此外,VOB能夠包括線性PCM,AC-3或者DTS視頻以及字母。VOB文件不能包含AAC音頻(MPEG-2 Part 7),MPEG-4壓縮格式或者其餘,而這些在MPEG PS標準中是容許的。

  文件擴展名 .VOB 
  開發者:  DVD Forum 
  類型:   媒體容器 
  包含:   音頻,視頻,字母 
  用於:   DVD-Video 
  從何擴展: MPEG program stream, ISO/IEC 13818-1 
  標準規範: DVD-Video Book

注:上述材料來源於wiki的整理。

相關文章
相關標籤/搜索