Cluster-based Co-saliency Detection筆記

時間 2019-11-11

標籤 cluster based saliency detection 筆記简体版

原文原文鏈接

1. 兩個定義函數

協同顯著性：在一組類似的圖像中發現unique object (D. Jacobs 2010)// 從多幅圖像中發現共有的顯著性
協同分割：將兩張或是多張圖像中類似的對象分割感出來

2. co-saliency與co-segmentation之間的區別學習

在非監督的co-segmentation方法中，圖像中的非顯著但類似的背景會給corresponding過程帶來反作用；
對於有歧義的圖像，須要用戶的輸入來指導分割過程；
co-segmentation方法的計算量每每很大，尤爲是面對大量的圖像的時候。然而不少需求，例如圖像縮放，目標定位和識別，對於精度要求每每不是很苛刻，只要可以快速定位出多張圖像中的共有對象便可。

3. 本文所作的工做測試

基於聚類的co-saliency檢測
用的特徵是contrast，spatial，correspondence；
優勢是基本上是自底向上的，沒有繁重的學習過程，並且簡單、通用、有效；
在協同分割，魯棒的圖像測距，弱監督學習以及視頻前景提取具備普遍的應用前景。

4. 本文的動機spa

單張圖像中的顯著性檢測方法忽視了多張圖像中的關聯線索，所以，本文將重複屬性作爲附加約束來發現多張圖像中的共有顯著對象。因此本文既考慮了單張圖像內的顯著性(intra-saliency)，也考慮了多張圖像間表現出的顯著性(inter-saliency)。視頻

5. 方法概述對象

符號說明：io

張圖像記爲 $\{I^j\}_{j=1}^M$ ；ast

圖像中的像素集合記爲 $\{p_i^j\}_{i=1}^{N_j}$ ，其中表示第j個image lattice（不是圖像中的像素的個數？）；擴展

對這M張圖像進行聚類，獲得K個cluster，記爲 $\{C^k\}_{k=1}^K$ ，聚類中心記爲 $\{\mu_k\}_{k=1}^K$ ， $\mu_k$ 是D維向量；object

對於圖像中每一個像素以及對應的cluster index ，定義一個映射函數 $b:\mathcal{R}^2\rightarrow {1,...,K}$ 。

$\{z_i^j\}_{i=1}^{N_j}$ 是圖像中像素的歸一化後的位置。

所用的顯著性測度:

特徵對比度測度Contrast Cue

    類的特徵對比度測度定義爲類與其餘類的特徵對比度，形式化描述以下：

                  $w^c(k)=\sum_{i=1,i\neq k}^K\left (\frac{n^i}{N}||\mu^k-\mu^i||_2\right )$

其中爲全部的圖像的像素和，爲聚類的像素個數。因此，類中像素個數越多，對特徵對比度的貢獻也就更大。

特徵對比度與直方圖對比度之間的不一樣：

    這裏衡量的是cluster的對比度，而直方圖對比度衡量的是直方圖的對比度；

    對比度測度只是三個顯著性測度中的一個。

特徵對比度測度的優勢：

    cluster越是獨特，cluster越是顯著。

中心偏移測度Spatial Cue

偏移測度的依據是：人類視覺系統中，圖像中心區域每每可以在比其餘區域更加吸引人的注意。當對象與圖像中心之間的距離越大時，顯著性也就愈來愈減少。在單張圖像中，稱爲中央偏向準則(center bias rule)。本文做者對這個概念進行了擴展，將其擴展到基於聚類的方法上。聚類的重心偏移測度定義以下：

$w^s(k)=\frac{1}{n^k}\sum_{j=1}^{M} \sum_{i=1}^{N_j} \left[ \mathcal{N}\left ( ||z_i^j-\sigma^j||^2 | 0, \sigma^2\right )\cdot \delta[b(p_i^j)-C^k]\right ]$

與單張圖像中的中心偏移測度不同的是，這裏定義的是多張圖像上的全局中央偏向性。

圖間分佈測度Corresponding Cue

圖間分佈測度主要用於衡量多張圖像上的cluster的分佈的。重複率描述了一個對象在多張圖像上重複出現的頻率，是反映協同顯著性的一個重要的全局屬性。首先採用一個具備M個bin的直方圖 $\hat{\mathbf{q}}^k=\{\hat{q}_j^k\}_{j=1}^M$ 來描述聚類在M張圖像中的分佈:

$\hat{q}_j^k=\frac{1}{n^k}\sum_{i=1}^{N_j} \delta[b(p_i^j)-C^k],j=1,...,M$

而後就能夠定義圖間分佈測度:

$w^d(k)=\frac{1}{\mbox{var}(\hat{\mathbf{q}}^k)+1}$

在各個圖像中分佈越是均勻的cluster，對應的圖間分佈測度就越是大。

協同顯著性圖生成：

對單張圖像而言，能夠得到contrast cue map，spatial cue map，對於多張圖像而言，既能夠獲得contrast cue, spatial cue，又能夠獲得corrsponding cue，所以總共能夠獲得5個cues，對這5個cues進行融合，就能夠獲得cluster級的協同顯著性機率圖:

      $p(C^k)=\prod_i w_i(k)$

其中。

co-saliency計算出來，至關於獲得了離散的assignment，接下來對co-saliency值進行平滑，獲得每個像素的顯著性機率。首先獲得像素屬於聚類的似然機率：

     $p(x|C^k)=\mathcal{N}(||v_x,\mu^k||_2 | 0,\sigma^2)$

其中是像素x的特徵向量，方差 $\sigma$ 是聚類的方差。

最後計算每個像素顯著的機率：

    $p(x)=\sum_{k=1}^K p(x,C^k)=\sum_{k=1}^K p(x|C^k)p(C^k)$

6.實驗

參數選擇：

所用特徵：CIE Lab顏色特徵以及Gabor特徵，共4維。Gabor特徵的獲取過程是：8個方向的Gabor特徵，bandwidth爲1，而後計算這8個濾波後的圖像的幅值，即Gabor_img = sum(abs(Gabor_img).^2, 3).^0.5; Gabor_img是（img_height*img_width）*8的矩陣。

單張圖像的聚類：用K-means進行聚類，聚類的個數是

多張圖像的聚類： $K-2=min\{3M,20\}$ ，M是圖像的總個數

測試數據集以及實驗結果：

單張圖像的測試數據集：MSRA1000，PR curve優於RC（Cheng Mingming cvpr 2011）

協同顯著性計算的測試數據集：

Co-saliency Pairs dataset(H. Li, K. Ngan. TIP 2011), PR curve優於CO(K. Chang, CVPR 2011)， MS(H. Li, TIP 2011), PC(H. Chen, ICIP 2010)

CMU iCoseg dataset(D. Batra et al. IJCV 2011), PR curve優於CO.

7.應用

協同分割:

用bilayer segmentation方法在MSRC數據集上進行了測試，方法在segmentation accuracy優於（A. Joulin, CVPR 2010），略遜於(K. Chang, CVPR 2011)，可是本文方法的時間開銷小，處理4張128*128的圖像，(K. Chang, CVPR 2011)所用時間是40s，本文方法只須要5秒。

具備魯棒性的圖像測距

弱監督學習

視頻前景提取

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。