大話成像視頻教程第一套13~24集筆記

13 MTF與Demosaic

MTF調製傳遞函數

1. Color filter array：色彩濾鏡陣列。
2. Bayer filter：貝爾濾鏡。50%綠，25%紅，25%藍。用了Bayer纔要用demosaic。

Bayer至關於採樣，demosaic至關於重建。

CFA

NIR：近紅外

RCCC sensor

採樣定理：採樣頻率要的大於信號最高頻率的2倍。通常要保證5~10倍的採樣頻率。採樣定理又叫奈奎斯特定理。

Aliasing：若是不能知足採樣定理的信號會重疊。

摩爾紋

Demosaic的步驟：

1. 判斷插值的方向；
2. 在斷定的方向上進行插值；
3. 後處理。不是必須的。

基礎點：

1. Green-based demosaicking
2. Edge-based demosaicking
3. 相關性原理

插值方法：Hamilton and Adams原理。色差恆定法。

demosaic很重要，跟denoise差很少。

難點：

1. 摩爾紋
2. noise：放大噪聲。會影響判斷。
3. 模糊
4. false color：僞彩色。

思考題：怎麼平衡noise和demosaic？

參考

MTF（調製傳遞函數）_百度百科 https://baike.baidu.com/item/MTF/261610

Optical transfer function - Wikipedia https://en.wikipedia.org/wiki/Optical_transfer_function

14 色彩空間&色彩重建

三個概念：

1. Color model
2. Color space / color working space
3. Color management：ICC profile

color model

RGB

additive system加性色彩系統

imaging，display，eye

CMYK

subtractive system減性色彩系統

dye，paint，print

RGB和CMYK不是具體的色彩空間。

color space

色彩空間。也是color model，但用準確的量化來描述座標系，量化範圍，白點數據以及非線性轉換特性。

設備無關：CIE XYZ， CIE LAB

設備相關：sRGB，Adobe RGB

色彩空間基本元素：

1. 參考白點
2. 幾何描述
3. Gamma

顯示器默認sRGB？

ICC profile

成像、打印……

加性色彩重建系統的幾個重要概念

• Color Gamut色域
• Tone Mapping Function
• Color Balance
• Intensity Resolution

好的色彩重建的基本要求basic principles of good color reproduction

1. 正確映射白色和中性色，灰色
2. 控制彩色
3. 正確映射天空、樹葉、膚色
4. 控制contrast和brightness

色彩重建的過程

scene exposure——Optics，filters，and sensor——Correction for offset……

色彩重建的數學表達

• CSC：color space conversion，
• CSM：color space matrix

15 Color Correction Matrix與3D LUT

CCM的目的：將camera rgb色彩空間轉換爲sRGB色彩空間。

camera_rgb->XYZ->sRGB

CCM的評價標準：

經過CIE LAB色彩空間來計算color error

CIE LAB（1976），1994，2000

注：

1. awb經常使用HSV？
2. ……

注意事項：

1. 飽和值處理
2. CCM通常在gamma前面（重要！）

計算方法： 1. …… 4.

附加功能：

1. ccm各patch的權重
2. 能夠考慮噪聲等選項；
3. 能夠提升或者下降飽和度。

調試CCM的注意事項：

1. 計算ccm時曝光須要正常。
2. ccm會加強彩噪，在高ISO時須要下降ccm的saturation，甚相當閉ccm模塊。
3. gamma變更時

劣勢

3D lut基本原理

16 Gamma與對比度加強

gamma是一種數學變換

gamma矯正：輸入亮度和輸出亮度的非線性變換關係。

scene——sensor——encoding gamma——存儲——display gamma——display

爲何要gamma？

1. 微博理論（JND）：人眼對暗區的變化更加敏感。
2. 存儲、傳輸、顯示圖像的手段是有帶寬限制的。

存儲的時候把更多的bit分配給暗區。

encoder gamma和display gamma必定是相乘爲1嗎？不是。

gamma對亮度、色彩的影響：

1. gamma會下降色彩的飽和度（ccm）
2. 不一樣gamma不一樣亮度

幾種gamma

• srgb gamma

• P3 display

• REC709

• local contrast

• global contrast

動態gamma校訂與contrast

直方圖分析和AE——場景判斷——對比度加強——生成gamma——gamma映射

思考題：

HDR10對於gamma的設計和調試有什麼新的需求和變化？

17 Sharpening

銳化

僅次於降噪的一個模塊。很難設計

邊緣變化更陡峭。

信號=低頻+中頻+高頻+噪聲

S=SL+SM+SH+Sn

unsharp masking（USM）

通常算法

• overshoot
• undershoot

filter通常都是高斯濾波器。濾波器決定了最終銳化的頻率，對sharpening影響最大。

難點：

• ring effect。光暈控制
• 噪聲變大
• aliasing的影響。奈奎斯特頻率信號區域加強。加強摩爾紋、鋸齒

要加強中高頻，而不是低頻和奈奎斯特頻率。

sharpen會增長MTF值。

注意事項：

1. 針對不一樣行業，調節不一樣的overshoot和undershoot，並保證MTF等達到要求。
2. 儘可能不要加強噪聲。
3. 不能引發Nyquist以上的頻率出現artifact。
4. 邊緣儘可能平整、均勻。
5. sharpening和focus/MTF等互相影響，須要控制好其餘變量。

18 CSC/CSM

• CSC：color space conversion
• CSM：color space matrix

sRGB變成編碼格式

CSM在硬件ISP中的位置

RGB——CSM：3x3+offset——YCbCr——JPEG或video encoder

• Y=亮度信號（黑白、彩色電視）
• UV=色度信號（彩色電視）
• PAL制：YPbPr
• NTSC制：YIQ
• SECAM：YDbDr
• YCbCr
• BT601
• BT709

JPEG標準裏的CSM

Conversion to and from RGB

三無論地帶？

19 空域降噪與頻域降噪

spatial denoise

噪聲類型：

1. 高斯噪聲。高斯+possion
2. 椒鹽噪聲。DBC去掉了。
3. FPN。有專門模塊。

空域降噪

加權平均一些類似像素，去獲得噪聲更小的像素值。

怎麼計算兩個像素的類似性權重。

三類算法：

1. 局部的線性 ：高斯降噪。
2. ……
3. ……

高斯降噪和像素值無關，和距離有關。

雙邊濾波，會抹掉小細節，屬於smooth領域。

非局部算法，根據圖像塊的類似性來計算像素的類似性權重。

頻域降噪

• 傅里葉降噪
• 小波降噪
• DCT降噪

噪聲圖像——頻域變換——……

小波收縮 軟收縮 硬收縮

BM3D，降噪算法，結合了兩種優點。計算量大。思想好。

20 時域去噪

是普通的空域噪聲，在時間域上會波動。

FIR & IIR filter

FIR，圖像上用的多。計算量少。

IIR，視頻上用的多。

motion detection：檢測當前像素是否移動

motion estimation：求得motion vector

時域降噪核心模塊。

1. 像素值差判斷，單點或block
2. 光流
3. 時域降噪和encoder。ME

motion compsensation運動補償

作得很差：

1. 運動當成不運動，有拖影
2. 把不運動誤判爲運動的，致使噪聲消除不乾淨

fusion

難點：

1. 平衡拖影和降噪效果
2. 在硬件設計中須要平衡帶寬和片上mem的關係。幀讀入讀出消耗很大。
3. 手機中平衡運動補償和降噪效果。

拖影最難

21 Color Aberrance Correction and Depurple

色散與去紫邊。多是其餘顏色。

安防、全景相機比較多

縱向和橫向色差

成因：不一樣波長的光線焦距不一樣，或者鏡頭對不一樣波長光線放大程度不一樣。

如何矯正CA

ISP：chromatic abberance correction、depurple

dot chart

標定+矯正

相似distortion

拍攝多張點狀圖——獲取點狀圖每一個點的圓心——根據R G B的圓心座標……

purple finge的其餘特定：

1. 出如今邊界等對比度高的地方
2. 顏色基本在必定範圍內

難點：

1. 硬件設計line buffer很大
2. depurple後飽和度下降，會產生artifact
3. 誤檢測

CA與demosaic

思考題：爲何demosaic會使CA變大？

22 ISP的統計信息

典型的ISP pipeline

sensor——BLC——Degamma——NR——LSC——WB——demosaic——CCM——gamma——sharpening——CSM——YUV NR/Sharpening

3A統計信息位置

流行的配置

AE統計信息典型舉例

計算亮度

AWB

ROI，除了魚眼鏡頭

CDAF

不少個格。focus value，luminance

FIR filter，IIR filter

其餘

MV

23 自動曝光

AE：auto exposure

不等同於自動亮度控制。

感光度、光圈、快門速度

• sensor analog gain
• sensor digital gain
• ISP digital gain
• exposure time
• integration time：lines

曝光 = ISO x 光圈 x 曝光時間

工業界和學術界對亮度控制界定有區別。

什麼是合適的曝光？

• 亮度
• 直方圖

曝光偏差的量化

色卡22，18%中性灰，反射率122，122，121

3種計算方法

• AE target：均值法

曝光偏差=曝光偏差22

18% reflection rate hypothesis failure

白加黑減，背景黑白

• 均值法AE的改進：

AE loop，閉環，自動控制

AE program

EV，shutter，aperture，參數值分配表，策略。增長曝光，晚上加大光圈，白天減慢快門

flickering reduction

50Hz光源，頻閃

24 自動白平衡

AWB

爲何要作白平衡？

在不一樣光源下白色物體成像在sensor上

• CCT——10000K，豔陽天的陰影下
• 7000K，陰天
• 5000K，大晴天
• 3000K，鎢絲燈
• 2000K，燭光

R G B各不一樣，須要乘以gain。人眼看R G B等值。

怎麼算RGB gain？

手動計算gain

須要找到白嗎？

不須要：

• 灰世界：最簡單。大部分場景合適。
• 完美反射
• color gamut maximization
• ……

要：

• 白點法
• 白塊法
• 灰邊法
• ……

須要校準嗎？

怎麼找到白？

• 早期的白點法
• 改進白點法
• 如今廣泛應用的加權白點法
• 統計加權白點法

思考題：基於校準白平衡方法與不基於校準的方法優缺點？