現有的Saliency計算模型的幾個常見問題及回答 (轉)

 

 

Ali Borji等人在ECCV上發表了一篇關於顯著性模型的綜合論文。

原文來自：Ali Borji, Dicky N. Sihite, and Laurent Itti,
" Salient Object Detection: A Benchmark",

總結了自2011年以及以前發表的，能容易獲得的（代碼或者Saliency Map），具備很好的準確率的，或者具備很高引用率的模型。

全文共用5個數據庫（這個五個數據都是包含物體的數據庫，該文的重點也是考擦包含物體的數據庫上比較各個模型）。

Human Inter-observer(IO) model:我的理解就是在N個觀測者中，依次抽出一我的的標註結果做爲測試，將其餘N-1我的的標註結果的集合做爲基準，計算這我的與其餘人的標註的不一致性。

這篇文章大概回答瞭如下的一些問題：

問題1：如今的模型是否已經達到最好，還有沒有提高的空間？

答：因爲IO模型是全部模型的上界，由於人們一般在標註顯著物體時能達到高度一致。而現有的模型與IO模型在全部數據庫上（該文提出的5個數據庫，如下同）還有很大的差距，因此還有提高空間。

問題2：現有模型的準確性有沒有理論下界？

答：有。將圖像中的全部像素依照均勻分佈輸入顯著值，這樣獲得的顯著圖計算出來的AUC是0.5，是理論下界。全部的模型的AUC值都大於等於這個值。

問題3：目前模型主要分爲哪幾類？

答：目前的方法主要分爲兩大類。1）基於注視點預測的模型；2）基於提取和分割顯著物體的模型。平均來講，基於注視點的模型的性能要比基於物體的顯著性的模型差一些。注視點預測的模型中最好的模型要比基於物體的顯著性的模型中最差的要好點。

問題4：爲何兩類模型在便於分割的數據上的性能不一樣？

答：這個緣由在於真陽性和假陽性的個數。分割算法試圖產生白色的顯著區域來包含更多的真陽性。令一方面，注視點預測模型具備很大的選擇性，不多產生假陽性點（由於圖中的注視點比較少）。在分開的獨立的實驗中，在注視點數據庫上注視點預測模型的性能要優於基於分割的模型。

問題5：將現有的模型線性組合起來的結果是否要優於單獨的模型？

答：在每一個數據庫上組合最好的模型獲得的結果，有可能要優於其餘全部的模型。而組合兩個作好的模型獲得的結果，與組合最優的三個模型的結果差很少（少一點）。

問題6：圖像中的物體的大小對模型的準確性的是否有影響？

答：在很小的物體上取得較高的準確性確實具備挑戰性。若是一個圖的80%是物體，那麼一個模型將整個圖做爲顯著圖，將能獲得80%的準確率。大多數模型在大尺度物體圖中的準確性都很高。

問題7：人工標註的一致性是否影響模型的準確性？

答：人工標註越一致，模型在其上的準確率越高。

問題8：每一個模型是否對同一數據庫中全部的圖都有類似的準確性？

答：每一個模型都有本身的最容易處理的圖和最難處理的圖。總的來說：在中心有很生動的物體，而周圍是與之大相徑庭的背景的圖，是全部模型最容易處理的圖。而最難處理的是那些有複雜紋理背景，物體又包含幾個不一樣部分的圖，或者包含能引發top-down注意的物體（好比文本，人臉，人體，社交行爲，注意力導向以及動物）。

問題9：對顯著圖進行高斯模糊是否對準確性產生影響？

答：高斯模型對準確性能產生輕微的影響，可是他們的定性趨勢以及模型的排序保持一致。

問題10：爲何高斯模型能改變注視點預測模型，但不改變顯著物體檢測模型的準確性？

答：可能的緣由有兩個：1）在注視點上存在着不一致性，致使模型的結果一般真正落在注意點上。所以，高斯模型的改良這種結果；2）在顯著物體檢測裏，評價指標是個圖像區域裏進行計算，而在注視點預測模型裏，一般是在眼睛注視點的採樣圖上進行計算。對於前者，高斯模糊只在邊緣處其左右；而對於後者，則一樣能改良模型的結果。

問題11：加入中心偏置是否能提供模型的準確性？

答：全部的數據庫都具備中心偏置屬性。加入中心偏置能提升較差性能的模型，但對於性能較好的模型的做用則相反。

問題12：現有模型的結果之間是否存在着類似性？

答：利用線性相關係數，可能得出，現有的模型以前確實存在類似性。

問題13：模型之間的一致性與人工標註一致性之間存在什麼關係？

答：他們之間的關係能夠總結爲：1）對於那些同時是模型一致性和人工標註一致性的圖，一般是包含很清晰的物體，其背景的顏色與物體的顏色大相徑庭；2）對於那些同時是人工標註不一致的和模型結果不一致的圖，大可能是那些不太容易定義顯著物體的圖。這些圖都有複雜紋理背景，物體又包含幾個不一樣部分。3）那些模型不一致的圖一般是背景紋理較多較複雜的，而顯著物體與背景的特徵形似。4）最後對於那些模型一致而人工不一致的圖，裏面的物體一般包含多個部分，而且每一個部分的特徵都與背景不一樣。整體而言，對於人工不一致的圖比較少。