圖像質量評價（四）：SSIM和MSSIM

SSIM

SSIM是一個普遍使用的圖像質量評價指標，它是基於人眼觀看圖像時會提取其中的結構化信息的假設。

SSIM是一種全參考的評價方法，對於圖像x和圖像y，其SSIM計算方式以下:

上式中l(x,y)是用均值來估計亮度，c(x,y)是用方差估計對比度，s(x,y)是用協方差估計結構類似度。

因此SSIM定義爲：

能夠看出SSIM知足如下性質：

1. 對稱性：SSIM(x,y)=SSIM(y,x)

2. 有界性：SSIM(x,y) <= 1

3. SSIM(x,y)=1當且僅當x和y徹底相同。

MSSIM

上面介紹的單尺度SSIM須要在特定的配置下才能表現良好，而MSSIM對不一樣分辨率的圖像都能保持性能穩定。

MSSIM的流程如上圖所示。將參考圖像和失真圖像做爲輸入，而後分別依次迭代的使用低通濾波器和1/2降採樣。假設原始圖像爲Scale 1，最高尺度爲Scale M通過M-1次迭代獲得。對於第j個尺度，只計算對比度c(x,y)和結構類似度s(x,y)。僅在Scale M計算亮度類似度l(x,y)。如上圖所示。

最終的SSIM是將各個尺度的結果鏈接起來：

alpha,beta,gamma用於調整各個份量的權重。爲了簡化，一般令：

跨尺度校準

對於MSSIM通常對每一個尺度令alpha=beta，那麼如何選擇不一樣尺度的alpha和beta參數（即肯定不一樣scale的相對權重）？

上圖中，每一行的MSE都相同，每一列的scale都相同。對於給定的8bit灰度圖像，咱們能夠合成上面的失真圖像表。這裏有5個scale，12個失真水平，共60幅圖像。能夠看到每行的MSE都相同，可是它們的感知質量卻差異很大，這說明不一樣尺度的失真對感知質量的影響不一樣。

咱們使用10幅不一樣內容的（人臉、天然風景、植物、人造物體等）64x64的圖像，構建了10個上面的失真表（共600幅失真圖像）。有8個受試者，觀測距離固定爲每度觀測視角32個像素距離。每一個人依次看10組圖像，對不一樣尺度的圖像進行比較，每一個尺度選擇出一幅他們認爲質量相同的圖像。例如上圖中標紅的5幅圖像，觀測者認爲它們質量相同。每一個人選擇的結果會被記錄，平均計算獲得最終測試結果，對測試結果計算獲得：

實驗結果

在八個數據集上測試MSSIM的表現結果:

Database	Results	Nonlinear fitting code	SROCC	KROCC	PLCC	RMSE
TID2013	MSSSIMOnTID2013	NonlinearFittingTID2013	0.7859	0.6047	0.8329	0.6861
TID2008	MSSSIMOnTID	NonlinearFittingTID	0.8542	0.6568	0.8451	0.7173
CSIQ	MSSSIMOnCSIQ	NonlinearFittingCSIQ	0.9133	0.7393	0.8991	0.1149
LIVE	MSSSIMOnLIVE	NonlinearFittingLIVE	0.9513	0.8045	0.9489	8.6188
IVC	MSSSIMOnIVC	NonlinearFittingIVC	0.8980	0.7203	0.9108	0.5029
Toyama-MICT	MSSSIMOnMICT	NonlinearFittingMICT	0.8874	0.7029	0.8927	0.5640
A57	MSSSIMOnA57	NonlinearFittingA57	0.8414	0.6478	0.8603	0.1253
WIQ	MSSSIMOnWIQ	NonlinearFittingWIQ	0.7495	0.5740	0.8095	13.4486
Weighted-Average

參考

《Multi-scale structural similarity for image quality assessment》

https://sse.tongji.edu.cn/linzhang/IQA/Evalution_MS_SSIM/eva-MS-SSIM.htm

感興趣的請關注微信公衆號Video Coding

本文分享自微信公衆號 - Video Coding（gh_17eb8f3e0fe7）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。