YUV格式有兩大類:planar和packed。
對於planar的YUV格式,先連續存儲全部像素點的Y,緊接着存儲全部像素點的U,隨後是全部像素點的V。
對於packed的YUV格式,每一個像素點的Y,U,V是連續交*存儲的。算法
YUV,分爲三個份量,「Y」表示明亮度(Luminance或Luma),也就是灰度值;而「U」和「V」 表示的則是色度(Chrominance或Chroma),做用是描述影像色彩及飽和度,用於指定像素的顏色。windows
與咱們熟知的RGB相似,YUV也是一種顏色編碼方法,主要用於電視系統以及模擬視頻領域,它將亮度信息(Y)與色彩信息(UV)分離,沒有UV信息同樣 能夠顯示完整的圖像,只不過是黑白的,這樣的設計很好地解決了彩色電視機與黑白電視的兼容問題。而且,YUV不像RGB那樣要求三個獨立的視頻信號同時傳 輸,因此用YUV方式傳送佔用極少的頻寬。數組
YUV 碼流的存儲格式其實與其採樣的方式密切相關,主流的採樣方式有三種,YUV4:4:4,YUV4:2:2,YUV4:2:0,關於其詳細原理,能夠經過網 上其它文章瞭解,這裏我想強調的是如何根據其採樣格式來從碼流中還原每一個像素點的YUV值,由於只有正確地還原了每一個像素點的YUV值,才能經過YUV與 RGB的轉換公式提取出每一個像素點的RGB值,而後顯示出來。函數
用三個圖來直觀地表示採集的方式吧,以黑點表示採樣該像素點的Y份量,以空心圓圈表示採用該像素點的UV份量。優化
先記住下面這段話,之後提取每一個像素的YUV份量會用到。編碼
2. 存儲方式spa
下面我用圖的形式給出常見的YUV碼流的存儲方式,並在存儲方式後面附有取樣每一個像素點的YUV數據的方法,其中,Cb、Cr的含義等同於U、V。設計
(1) YUVY 格式 (屬於YUV422)視頻
YUYV爲YUV422採樣的存儲格式中的一種,相鄰的兩個Y共用其相鄰的兩個Cb、Cr,分析,對於像素點Y'00、Y'01 而言,其Cb、Cr的值均爲 Cb00、Cr00,其餘的像素點的YUV取值依次類推。 (2) UYVY 格式 (屬於YUV422)htm
UYVY格式也是YUV422採樣的存儲格式中的一種,只不過與YUYV不一樣的是UV的排列順序不同而已,還原其每一個像素點的YUV值的方法與上面同樣。
(3) YUV422P(屬於YUV422)
YUV422P 也屬於YUV422的一種,它是一種Plane模式,即平面模式,並非將YUV數據交錯存儲,而是先存放全部的Y份量,而後存儲全部的U(Cb)份量, 最後存儲全部的V(Cr)份量,如上圖所示。其每個像素點的YUV值提取方法也是遵循YUV422格式的最基本提取方法,即兩個Y共用一個UV。好比, 對於像素點Y'00、Y'01 而言,其Cb、Cr的值均爲 Cb00、Cr00。
(4)YV12,YU12格式(屬於YUV420)
YU12和YV12屬於YUV420格 式,也是一種Plane模式,將Y、U、V份量分別打包,依次存儲。其每個像素點的YUV數據提取遵循YUV420格式的提取方式,即4個Y份量共用一 組UV。注意,上圖中,Y'00、Y'0一、Y'十、Y'11共用Cr00、Cb00,其餘依次類推。
(5)NV十二、NV21(屬於YUV420)
NV12和NV21屬於YUV420格式,是一種two-plane模式,即Y和UV分爲兩個Plane,可是UV(CbCr)爲交錯存儲,而不是分爲三個plane。其提取方式與上一種相似,即Y'00、Y'0一、Y'十、Y'11共用Cr00、Cb00
YUV420 planar數據, 以720×488大小圖象YUV420 planar爲例,
其存儲格式是: 共大小爲(720×480×3>>1)字節,
分爲三個部分:Y,U和V
Y份量: (720×480)個字節
U(Cb)份量:(720×480>>2)個字節
V(Cr)份量:(720×480>>2)個字節
三個部份內部均是行優先存儲,三個部分之間是Y,U,V 順序存儲。
即YUV數據的0--720×480字節是Y份量值,
720×480--720×480×5/4字節是U份量
720×480×5/4 --720×480×3/2字節是V份量。
4 :2: 2 和4:2:0 轉換:
最簡單的方式:
YUV4:2:2 ---> YUV4:2:0 Y不變,將U和V信號值在行(垂直方向)在進行一次隔行抽樣。 YUV4:2:0 ---> YUV4:2:2 Y不變,將U和V信號值的每一行分別拷貝一份造成連續兩行數據。
在YUV420中,一個像素點對應一個Y,一個4X4的小方塊對應一個U和V。對於全部 YUV420圖像,它們的Y值排列是徹底相同的,由於只有Y的圖像就是灰度圖像。YUV420sp與YUV420p的數據格式它們的UV排列在原理上是完 全不一樣的。420p它是先把U存放完後,再存放V,也就是說UV它們是連續的。而420sp它是UV、UV這樣交替存放的。(見下圖) 有了上面的理論,我就能夠準確的計算出一個YUV420在內存中存放的大小。 width * hight =Y(總和) U = Y / 4 V = Y / 4
因此YUV420 數據在內存中的長度是 width * hight * 3 / 2,
假設一個分辨率爲8X4的YUV圖像,它們的格式以下圖:
YUV420sp格式以下圖
YUV420p數據格式以下圖
旋轉90度的算法:
public static void rotateYUV240SP(byte[] src,byte[] des,int width,int height)
{
int wh = width * height;
//旋轉Y
int k = 0;
for(int i=0;i<width;i++) {
for(int j=0;j<height;j++)
{
des[k] = src[width*j + i];
k++;
}
}
for(int i=0;i<width;i+=2) {
for(int j=0;j<height/2;j++)
{
des[k] = src[wh+ width*j + i];
des[k+1]=src[wh + width*j + i+1];
k+=2;
}
}
}
YV12和I420的區別 通常來講,直接採集到的視頻數據是RGB24的格式,RGB24一幀的大小size=width×heigth×3 Bit,RGB32的size=width×heigth×4,若是是I420(即YUV標準格式4:2:0)的數據量是 size=width×heigth×1.5 Bit。 在採集到RGB24數據後,須要對這個格式的數據進行第一次壓縮。即將圖像的顏色空間由RGB2YUV。由於,X264在進行編碼的時候須要標準的 YUV(4:2:0)。可是這裏須要注意的是,雖然YV12也是(4:2:0),可是YV12和I420的倒是不一樣的,在存儲空間上面有些區別。以下: YV12 : 亮度(行×列) + U(行×列/4) + V(行×列/4)
I420 : 亮度(行×列) + V(行×列/4) + U(行×列/4)
能夠看出,YV12和I420基本上是同樣的,就是UV的順序不一樣。
繼 續咱們的話題,通過第一次數據壓縮後RGB24->YUV(I420)。這樣,數據量將減小一半,爲何呢?呵呵,這個就太基礎了,我就很少寫了。 一樣,若是是RGB24->YUV(YV12),也是減小一半。可是,雖然都是一半,若是是YV12的話效果就有很大損失。而後,通過X264編碼 後,數據量將大大減小。將編碼後的數據打包,經過RTP實時傳送。到達目的地後,將數據取出,進行解碼。完成解碼後,數據仍然是YUV格式的,因此,還需 要一次轉換,這樣windows的驅動才能夠處理,就是YUV2RGB24。
YUY2 是 4:2:2 [Y0 U0 Y1 V0]
yuv420p 和 YUV420的區別 在存儲格式上有區別
yuv420p:yyyyyyyy uuuuuuuu vvvvv yuv420: yuv yuv yuv
YUV420P,Y,U,V三個份量都是平面格式,分爲I420和YV12。I420格式和YV12格式的不一樣處在U平面和V平面的位置不一樣。在I420格式中,U平面緊跟在Y平面以後,而後纔是V平面(即:YUV);但YV12則是相反(即:YVU)。
YUV420SP, Y份量平面格式,UV打包格式, 即NV12。 NV12與NV21相似,U 和 V 交錯排列,不一樣在於UV順序。
I420: YYYYYYYY UU VV =>YUV420P
YV12: YYYYYYYY VV UU =>YUV420P
NV12: YYYYYYYY UVUV =>YUV420SP
NV21: YYYYYYYY VUVU =>YUV420SP
下面是百度詞條:
YUV主要用於優化彩色視頻信號的傳輸,使其向後相容老式黑白電視。與RGB視頻信號傳輸相比,它最大的優勢在於只需佔用極少的頻寬(RGB要求三個獨立的視頻信號同時傳輸)。其中「Y」表示明亮度(Luminance或Luma),也就是灰階值;而「U」和「V」 表示的則是色度(Chrominance 或Chroma),做用是描述影像色彩及飽和度,用於指定像素的顏色。「亮度」是透過RGB輸入信號來創建的,方法是將RGB信號的特定部分疊加到一塊兒。 「色度」則定義了顏色的兩個方面─色調與飽和度,分別用Cr和Cb來表示。其中,Cr反映了RGB輸入信號紅色部分與RGB信號亮度值之間的差別。而Cb 反映的是RGB輸入信號藍色部分與RGB信號亮度值之間的差別。
採用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。若是隻有Y信號份量而沒有U、V份量,那麼這樣表示的圖像就是黑白灰度圖像。彩色電視採用YUV空間正是爲了用亮度信號Y解決彩色電視機與黑白電視機的兼容問題,使黑白電視機也能接收彩色電視信號。
對於數字視頻, 定義了從 RGB 到兩個主要 YUV 的轉換。這兩個轉換都基於稱爲 ITU-R Recommendation BT.709 的規範。第一個轉換是 BT.709 中定義用於 50-Hz 的較早的 YUV 格式。它與在 ITU-R Recommendation BT.601 中指定的關係相同, ITU-R Recommendation BT.601 也被稱爲它的舊名稱 CCIR 601。這種格式應該被視爲用於標準定義 TV分辨率(720 x 576) 和更低分辨率視頻的首選 YUV 格式。它的特徵由下面兩個常量 Kr 和 Kb 的值來定義:
Kr = 0.299
Kb = 0.114
第二個轉換爲 BT.709 中定義用於 60-Hz 的較新 YUV 格式,應該被視爲用於高於 SDTV 的視頻分辨率的首選格式。它的特徵由下面兩個不一樣的常量值來定義:
Kr = 0.2126
Kb = 0.0722
從 RGB 到 YUV 轉換的定義如下列內容開始:L = Kr * R + Kb * B + (1 – Kr – Kb) * G而後,按照下列方式得到 YUV 值:
Y = floor(2^(M-8) * (219*(L–Z)/S + 16) + 0.5)
U = clip3(0, 2^M-1, floor(2^(M-8) * (112*(B-L) / ((1-Kb)*S) + 128) + 0.5))
V = clip3(0, 2^M-1, floor(2^(M-8) * (112*(R-L) / ((1-Kr)*S) + 128) + 0.5))
其中M 爲每一個 YUV 樣例的位數 (M >= 8)。
Z 爲黑電平變量。對於計算機RGB,Z 等於 0。對於 studio視頻RGB,Z 等於 16*2,其中 N 爲每一個 RGB
樣例的位數 (N >= 8)。S 爲縮放變量。對於計算機RGB,S 等於 255。對於 studio視頻RGB,S 等於 219*2。
函數floor(x) 返回大於或等於 x 的最大整數。函數clip3(x, y, z) 的定義以下所示:
clip3(x, y, z) = ((z < x) ? x : ((z > y) ? y : z))Y 樣例表示亮度,U 和 V 樣例分別表示偏向藍色和紅色的顏色誤差。Y 的標稱範圍爲 16*2 到 235*2 。黑色表示爲 16*2 ,白色表示爲 235*2 。U 和 V 的標稱範圍爲 16*2 到 240*2 ,值 128*2 表示中性色度。可是,實際的值可能不在這些範圍以內。
對於 studio 視頻 RGB 形式的輸入數據,要使得 U 和 V 值保持在 0 到 2M-1 範圍以內,必需進行剪輯操做。若是輸入爲計算機RGB,則不須要剪輯操做,這是由於轉換公式不會生成超出此範圍的值。
這些都是精確的公式,沒有近似值。
在DirectShow中,常見的RGB格式有RGB一、RGB四、 RGB八、RGB56五、RGB55五、RGB2四、RGB3二、ARGB32等;常見的YUV格式有YUY二、YUYV、YVYU、UYVY、 AYUV、Y41P、Y4十一、Y2十一、IF0九、IYUV、YV十二、YVU九、YUV4十一、YUV420等。
主要的採樣格式有YCbCr 4:2:0、YCbCr 4:2:二、YCbCr 4:1:1和 YCbCr 4:4:4。其中YCbCr 4:1:1 比較經常使用,其含義爲:每一個點保存一個 8bit 的亮度值(也就是Y值),每 2x2 個點保存一個 Cr 和Cb 值,圖像在肉眼中的感受不會起太大的變化。因此, 原來用 RGB(R,G,B 都是 8bit unsigned) 模型, 1個點須要 8x3=24 bits(以下圖第一個圖),(全採樣後,YUV仍各佔8bit)。按4:1:1採樣後,而如今平均僅須要 8+(8/4)+(8/4)=12bits(4個點,8*4(Y)+8(U)+8(V)=48bits), 平均每一個點佔12bits(以下圖第二個圖)。這樣就把圖像的數據壓縮了一半。
上邊僅給出了理論上的示例,在實際數據存儲中是有多是不一樣的,下面給出幾種具體的存儲形式:
(1) YUV 4:4:4
YUV三個信道的抽樣率相同,所以在生成的圖像裏,每一個象素的三個份量信息完整(每一個份量一般8比特),通過8比特量化以後,未經壓縮的每一個像素佔用3個字節。
下面的四個像素爲: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的碼流爲: Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3
(2) YUV 4:2:2
每一個色差信道的抽樣率是亮度信道的一半,因此水平方向的色度抽樣率只是4:4:4的一半。對非壓縮的8比特量化的圖像來講,每一個由兩個水平方向相鄰的像素組成的宏像素須要佔用4字節內存。
下面的四個像素爲:[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的碼流爲:Y0 U0 Y1 V1 Y2 U2 Y3 V3
映射出像素點爲:[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]
(3) YUV 4:1:1
4:1:1的色度抽樣,是在水平方向上對色度進行4:1抽樣。對於低端用戶和消費類產品這仍然是能夠接受的。對非壓縮的8比特量化的視頻來講,每一個由4個水平方向相鄰的像素組成的宏像素須要佔用6字節內存。
下面的四個像素爲: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的碼流爲: Y0 U0 Y1 Y2 V2 Y3
映射出像素點爲:[Y0 U0 V2] [Y1 U0 V2] [Y2 U0 V2] [Y3 U0 V2]
(4)YUV4:2:0
4:2:0並不意味着只有Y,Cb而沒有Cr份量。它指得是對每行掃描線 來講,只有一種色度份量以2:1的抽樣率存儲。相鄰的掃描行存儲不一樣的色度份量,也就是說,若是一行是4:2:0的話,下一行就是4:0:2,再下一行是 4:2:0...以此類推。對每一個色度份量來講,水平方向和豎直方向的抽樣率都是2:1,因此能夠說色度的抽樣率是4:1。對非壓縮的8比特量化的視頻來 說,每一個由2x2個2行2列相鄰的像素組成的宏像素須要佔用6字節內存。
下面八個像素爲:[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
[Y5 U5 V5] [Y6 U6 V6] [Y7U7 V7] [Y8 U8 V8]
存放的碼流爲:Y0 U0 Y1 Y2 U2 Y3
Y5 V5 Y6 Y7 V7 Y8
映射出的像素點爲:[Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7]
[Y5 U0 V5] [Y6 U0 V5] [Y7U2 V7] [Y8 U2 V7]
YUV格式一般有兩大類:打包(packed)格式和平面(planar)格式。前者將YUV份量存放在同一個數組中, 一般是幾個相鄰的像素組成一個宏像素(macro-pixel);然後者使用三個數組分開存放YUV三個份量,就像是一個三維平面同樣。表2.3中的 YUY2到Y211都是打包格式,而IF09到YVU9都是平面格式。(注意:在介紹各類具體格式時,YUV各份量都會帶有下標,如Y0、U0、V0表示 第一個像素的YUV份量,Y一、U一、V1表示第二個像素的YUV份量,以此類推。)
¨ YUY2(和YUYV)格式爲每一個像素保留Y份量,而UV份量在水平方向上每兩個像素採樣一次。一個宏像素爲4個字節,實際表示2個像素。(4:2:2的意思其實是一個宏像素中有2個Y份量、1個U份量和1個V份量。)圖像數據中YUV份量排列順序以下:
Y0 U0 Y1 V0 Y2 U2 Y3 V2 …
¨ YVYU格式跟YUY2相似,只是圖像數據中YUV份量的排列順序有所不一樣:
Y0 V0 Y1 U0 Y2 V2 Y3 U2 …
¨ UYVY格式跟YUY2相似,只是圖像數據中YUV份量的排列順序有所不一樣:
U0 Y0 V0 Y1 U2 Y2 V2 Y3 …
¨ AYUV格式帶有一個Alpha通道,而且爲每一個像素都提取YUV份量,圖像數據格式以下:
A0 Y0 U0 V0 A1 Y1 U1 V1 …
¨ Y41P(和Y411)格式爲每一個像素保留Y份量,而UV份量在水平方向上每4個像素採樣一次。一個宏像素爲12個字節,實際表示8個像素。圖像數據中YUV份量排列順序以下:
U0 Y0 V0 Y1 U4 Y2 V4 Y3 Y4 Y5 Y6 Y8 …
¨ Y211格式在水平方向上Y份量每2個像素採樣一次,而UV份量每4個像素採樣一次。一個宏像素爲4個字節,實際表示4個像素。圖像數據中YUV份量排列順序以下:
Y0 U0 Y2 V0 Y4 U4 Y6 V4 …
¨ YVU9格式爲每一個像素都提取Y份量,而在UV份量的提取時,首先將圖像分紅若干個4 x 4的宏塊,而後每一個宏塊提取一個U份量和一個V份量。圖像數據存儲時,首先是整幅圖像的Y份量數組,而後就跟着U份量數組,以及V份量數組。IF09格式與YVU9相似。
¨ IYUV格式爲每一個像素都提取Y份量,而在UV份量的提取時,首先將圖像分紅若干個2 x 2的宏塊,而後每一個宏塊提取一個U份量和一個V份量。YV12格式與IYUV相似。
¨ YUV4十一、YUV420格式多見於DV數據中,前者用於NTSC制,後者用於PAL制。YUV411爲每一個像素都提取Y份量,而UV份量在水平方向上 每4個像素採樣一次。YUV420並不是V份量採樣爲0,而是跟YUV411相比,在水平方向上提升一倍色差採樣頻率,在垂直方向上以U/V間隔的方式減少 一半色差採樣,如上圖所示。
YUV與RGB的轉換公式:
U和V元件能夠被表示成原始的R、G,和B:
取而代之,以矩陣表示法(matrix representation),可獲得公式: