IQA(圖像質量評估)

 

圖像質量評價（Image Quality Assessment,IQA）是圖像處理中的基本技術之一，主要經過對圖像進行特性分析研究，而後評估出圖像優劣（圖像失真程度）。

主要的目的是使用合適的評價指標，使得評價結果最符合人類主觀評價。

從有沒有人蔘與的角度區分，圖像質量評價方法有主觀評價和客觀評價兩個分支。

圖像質量主觀評價：

主觀圖像質量的評價方法是以人的主觀意識爲判斷的評價方法，主觀評價方法主要可分爲兩種：絕對評價和相對評價。

絕對評價： 評價指標是平均主觀分（MOS）,圖像質量的絕對評價都是觀察者參照原始圖像對待定圖像採用雙刺激連續質量分級法。將待評價圖像和原始圖像按必定規則交替播放持續必定時間給觀察者，而後在播放後留出必定的時間間隔供觀察者打分，最後將全部給出的分數取平均做爲該序列的評價值，即該待評圖像的評價值，

國際上也對評價尺度作出了規定，對圖像質量進行等級劃分並用數字表示，也稱爲圖像評價的5分制「全優度尺度」（優：5分，良：4分，中：3分，差：2分，劣：1分）

相對評價：評價指標是差別平均主觀分（DMOS）,相對評價中沒有原始圖像做爲參考，是由觀察者對一批待評價圖像進行相互比較，從而判斷出每一個圖像的優劣順序，並給出相應的評價值。

一般，相對評價採用單刺激連續質量評價方法，將一批待評價圖像按照必定的序列播放，此時觀察者在觀看圖像的同時給出待評圖像相應的評價分值。相對於主觀絕對評價，主觀相對評價也規定了相應的評分制度，稱爲「羣優度尺度」。也是5分制。

主觀評價方法須要大量的專業人士，耗時費力，並且不適應於實際應用。

 

圖像質量客觀評價：

    客觀質量評價方法是指脫離人的主觀意識判斷，主要經過函數擬合或者機器學習的方法來創建一個模型，對待評圖像進行相關的處理運算，獲得圖像的評價值。

優秀的圖像質量算法應該具備三個特色：與人眼感知相符；具備通用性；結果具備單調性，穩定性。

圖像質量客觀評價可分爲全參考（Full-Reference,FR），部分參考（Reduced-Reference,RR）和無參考（No-Reference,NR）三種類型。

全參考： 比較適合做爲評價指標，全參考圖像質量評價是指在選擇理想圖像做爲參考圖像的狀況下，比較待評圖像與參考圖像之間的差別，分析待評圖像的失真程度，從而獲得待評圖像的質量評估。

基於圖像像素統計基礎的有： 峯值信噪比（Peak-Signal to Noise Ratio,PSNR）和均方偏差（Mean Square Error,MSE）。PSNR與MSE都是經過計算待評圖像與參考圖像之間像素偏差的全局大小來衡量圖像質量好壞的。PSNR值越大，代表待評圖像與參考圖像之間的失真較小，圖像質量較好。而MSE的值越小，代表圖像質量越好。這類算法比較簡單且容易實現，但與主觀評價方法有很大的差別。

   基於信息論中信息熵基礎，有人提出來了信息保真度準則（Information Fidelity Criterion,IFC）和視覺信息保真度（Visual Information Fidelity,VIF）兩種算法。經過計算待評圖像與參考圖像之間的互信息來衡量待評圖像的質量優劣。但這類方法對於圖像的結構信息沒有反應。

  基於結構信息基礎：提出了一種符合人眼視覺系統特性的圖像質量客觀評判標準-結構類似度（Structure Similaruty,SSIM）。SSIM值越大，失真圖像質量越好。該指標算法實現簡單，質量評估性比較可靠。 平均結構類似度算法（MSSIM）,基於SSIM改進的一種算法，把原始圖像和失真圖像分紅相同的小塊，分別求SSIM，而後再求出整幅圖的類似度。MSSIM值越大，失真圖像質量越好。

   還有基於人類視覺系統（HSV）的圖像質量評價方法，這種方法提升了客觀質量評價方法與主觀評價方法的一致性。

部分參考：以理想圖像的部分特徵信息做爲參考，對待評圖像進行比較分析，從而獲得圖像質量評價結果。部分參考方法可分爲基於原始圖像特徵方法、基於數字水印方法和基於Wavelet域統計模型的方法等。部分圖像參考的重點和難點在於尋找合適的特徵信息。

無參考：無參考方法也稱爲盲圖像質量評價（BIQA），無參考圖像評價方法實現比較複雜，但由於通常的理想圖像很難得到，因此這類方法偏重於實際應用。    比較簡單的評價算法有：

均值：均值是指圖像像素的平均值，它反映了圖像的平均亮度，平均亮度越大，圖像質量越好。

標準差：標準差是指圖像像素灰度值相對於均值的離散程度。若是標準差越大，代表圖像中灰度級分別越分散，圖像質量也就越好，

平均梯度：平均梯度能反映圖像中細節反差和紋理變換，它在必定程度上反映了圖像的清晰程度。

熵：熵是指圖像的平均信息量，它從信息論的角度衡量圖像中信息的多少，圖像中的信息熵越大，說明圖像包含的信息越多。

研究點：

針對特定失真時，現階段有不少質量評價算法的結果和主觀評價值相差不大，但對其餘類型的失真則可能結果並不理想。

除了設計質量評價算法外，還有一個方法是設計機器學習模型。基於機器學習方法主要是經過從已知質量的圖像中提取出可以反映圖像質量的特徵參數，並進行訓練學習，創建一個分析模型，而後把待評測圖像的相應的特徵參數輸入到分析模型中，預測失真圖像的質量。這種方法的評測結果通常優於函數擬合預測出來的結果，可是機器學習有學習過程，會花費大量時間。

現今的圖像質量評價的重點研究主要是針對無參考圖像的研究，分爲3類：

面向特定失真圖像質量評價方法、非特定失真圖像質量評價和基於機器學習圖像質量評價方法。

特定失真：

失真類型：圖像模糊、圖像噪聲、JPEG壓縮、JPEG2000壓縮和塊效應等。

圖像模糊： 基於邊緣信息差別的：根據檢測到的不一樣邊緣強度信息進行計算模糊度的圖像質量評價算法（A no-reference perceptual blur metric based on complex edge analysis[C]），基於可察覺模糊和HVS計算圖像模糊度的圖像質量評價算法(Human visual system based on-reference objective image sharpness metric[C] )。基於Sobel算子計算圖像的平均邊緣寬度(A no-reference perceptual blur metric[C] )。

基於像素統計信息的：基於圖像相鄰像素域的灰度信息變化來計算圖像模糊度的圖像質量平均算法(The blur effect: perception and estimation with a new no-reference perceptual blur metric[C] )。基於圖像相鄰灰度的差別方差的變化大小來計算模糊度的圖像質量評價算法(Efficient method of detecting globally blurry or sharp images[C] )。

基於變化域的：基於8*8大小的離散餘弦變換來估計圖像模糊度的圖像質量評價算法(Blur determination in the compressed domain using DCT information[C])。

噪聲失真：根據不一樣分辨率的方差差別計算出圖像的噪聲方差的圖像質量評價算法(A fast parallel algorithm for blind estimation of noise variance[J])。根據Sobel算子計算圖像結構的邊緣閾值(A fast method for image noise estimation using laplacian operator and adaptive edge detection[C] )。

JPEG失真： 基於塊邊界的統計圖像質量評價算法(Using edge direction information for measuring blocking artifacts of images[J])。

基於非特定失真圖像的質量評價：

盲圖像質量指標（BIQI）(A two-step framework for constructing blind image quality indices[J])：分爲兩步，先將各類圖像進行失真的分類，而後評估失真圖像的質量。

天然圖像質量評價方法(NIQE)(No-reference image blur assessment using multiscale gradient[J])：採用96*96塊間無重合的方式對圖像對比度歸一化進行分塊。計算每一個塊的局部對比度的均值。

基於失真辨識的圖像真實性和完整性評價算法（DIIVINE）(Blind image quality assessment: From natural scene statistics to perceptual quality[J] )：首先對失真圖像使用金字塔小波變換，而後對這些參數進一步統計特性。

 

基於機器學習方法的：

利用卷積神經網絡的模型對圖像質量進行評價(Convolutional neural networks for no-reference image quality assessment[C])。

利用廣義迴歸神經網絡（GRNN）的模型對圖像的質量進行評價(Blind image quality assessment using a general regression neural network[J])。

 

圖像質量評價算法評價指標和經常使用數據庫：

算法的評價效果是否較好，須要一個統一的標準來衡量。

幾個比較經常使用的數學評價指標：

斯皮爾曼等級相關係數（SPOCC）

線形皮爾森相關係數（LPCC）

KL散度/KL距離/相對熵（KLD）

離出率（OR）

離羣值距離（OD）

經常使用圖像質量評價數據庫：
以前的研究者經過主觀評價方法評價不少圖像，並給出了它們的主觀平均值，一塊兒組成一個公開的圖像質量評價數據庫。典型的有：LIVE2, CSIQ和TID2013.

LIVE2圖像質量評價數據庫是美國德州大學奧斯丁分校圖像與視頻工程實驗室開發的。

CSIQ圖像質量評價數據庫是美國俄克拉荷馬州立大學開發的。

TID2013圖像質量評價數據庫是烏克蘭航空航天大學開發的。