引言:如何在浩海如煙的數字圖像數據中快速、高效、準確地找到人們所須要的圖像信息,已變 成一個亟待解決的問題。人類對數據具備異常突出的篩選能力,能迅速覺察到與自身相關的重要信息,把目光集中到本身感興趣的方面。根據人類視覺原理,「注意」 是人類信息加工過程當中的一項重要的心理調節機制,它可以對有限的信息加工資源進行分配,使感知具有選擇能力。這種具備選擇性和主動性的心理活動被稱爲視覺注意機制。視覺注意機制的顯著區域檢測在圖像分析過程當中有着很是重要的意義,愈來愈多的研究者將這種注意機制引入圖像分析領域,以得到高效、準確的圖像檢索能力。微信
1 視覺注意力機制學習
1.1 視覺注意力問題描述人工智能
視覺注意是屬於神經生物學範疇的概念,它是在生物視覺信息處理過程當中是一個很是重要的過程。當視網膜擁有整個場景時,注意力一次只集中在一個或者爲數不多的幾個區域上。spa
關於視覺系統中注意力機制一直是認知科學領域的一個重要研究課題,受到神經科學、認知心理學以及相關學科的衆多研究者的關注。人眼在觀察周圍視覺信息的時候, 觀察者即便被給定了較長的瀏覽時間, 仍將會把注意力彙集在一些特定的區域上。注意程度高的區域在人眼視網膜上的黃斑上成像,該區域的信息被選擇進入高層知覺過程;而散佈在視網膜其餘區域的桿狀細胞只能在弱光下檢測亮度信息,沒有色彩的感受,分辨率較低,僅能分辨出視野景物中的通常輪廓。因此,圖像成像在黃斑以外的其餘區域, 僅僅能夠得到一個大概的影像信息。視覺生物神經方面的研究成果爲注意力機制提供了生物學基礎。
.net
大多數視覺心理學研究結論將早期視覺過程劃分爲兩階段:前注意階段和注意階段。視覺顯
著性是指在視覺前注意階段中, 可以迅速引發觀察者注意的程度。顯著性高的客體容易被 觀察者選擇性接受。視覺注意力計算模型旨在模擬人的視覺感知過程,根據視覺對圖像中客體的注意程度計算顯著程度,即對視覺信息進行顯著性分析的過程。
設計
1. 2 自底向上和自頂向下視覺注意力模型blog
根據注意過程的引導方式, 可將現有注意機制計算模型分爲自底向上模型和自頂向下的模型。資源
自底向上的注意機制模型是指由外界信號的特性而決定注意的導向。自底向上的注意模型沒有特定的目標約束,是人們在瀏覽外界視覺信息時,對具備顯著特徵的客體進行選擇的過程,這個過程徹底由外部視覺刺激觸發、不受意識支配的,沿着自下向上的方向被處理的,其特色主要有兩點:get
1) 數據驅動。自底向上的選擇性注意機制是由做爲底層數據的視覺刺激驅動的,與做爲高層知識的觀察任務無關,咱們沒法有意識地控制其信息處理過程。io
2) 自動加工。自底向上的選擇性注意機制是一種自動加工過程。它對視覺信息的處理速度很快,並且是以空間並行方式在多個通道中同時處理視覺信息的。
自頂向下的模型是選擇性注意力機制的另一種類型。給定某個觀察任務, 人類視覺在自頂向下的選擇性注意機制的幫助下, 可以迅速創建視覺指望, 並在該指望的指導下按照必定的優先級順序有選擇地對各個場景區域進行局部驗證, 進而對其中通過證明含有指望目標的場景區域進行局部處理。一般狀況下,那些包含指望目標的場景區域都會因爲其符合視覺指望的視覺刺激分佈模式而具備較高的優先級。顯然將這種由觀察任務驅動的自頂向下的選擇性注意機制引入圖像信息處理過程是很是必要的。
2 視覺注意力模型分析
對視覺選擇性注意機制, 目前多數研究的是如何創建隱式注意的自底向上的計算模型,是由於顯式注意更加複雜,涉及更多目前還未知的東西,隱式注意相對來講有更多的實驗數據和認知模型能夠參考。引導注意的自底向上因素主要來自於視覺任務, 而視覺任務是變幻無窮的,一般表現爲知識,但對知識,目前尚未很好的描述模型,而是具體問題具體對待。因此,人們更多地研究自底向上方面。通常而言,設計任何一個視覺注意的計算模型, 首先都要涉及如下 5 個方面。
1) 肯定模 型 是 針 對 隱 式 注 意 還 是 顯 式 注 意。不一樣的注意方式所引發處理過程是不同的,注意方式對處理過程起着決定性做用。
2) 肯定模型中注意是否引入視覺物體識別。在生物視覺系統中, 注意所在的「Where」 通道和識別所在的「What」 通道之間有複雜的相互關係,注意和識別是密不可分的。目前這二者 交互的機理還遠遠不爲人們所瞭解。
3) 預注意階段。預注意階段主要進行一些早期視覺特徵計算,那麼到底哪些特徵自下而上地引導注意呢? 研究代表,既能夠是一些基本的特徵,如顏 色、運動、方向以及尺度,也 能夠是特徵的組合,如2D圖像或3D場景中的物體,甚至還能夠是學習獲得的特徵 ,不一樣的特徵對注意引導的做用依賴於它們在圖像中的對比度。
4) 顯著圖生成。在預注意階段,一些視覺特徵被計算出來, 將利用這些計算結果來引導視覺注意。現有的模型幾乎都是使用了基於顯著圖的方式。現有模型之間的不一樣之處正是在於如何由一些早期視覺特徵來融合獲得顯著圖, 這是一個模型的核心和關鍵之處。
5) 視覺轉移的控制策略。在獲得顯著圖後,視覺如何轉移呢? 經過認知實驗可知,它取決於兩點:一是對當前注視點的識別結果;二是一旦某個物體被注視過了,那麼它的顯著性會被抑制。
從以上 可 知,注意計算模型一般包括兩大模塊:早期視覺特徵提取與顯著圖生成模塊和注視區域 / 物體選取與轉移模塊。顯著圖的生成是計算模型的核心。
本文分享自微信公衆號 - AI MOOC人工智能平臺(AIMOOC_XLAB)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。