今天爲你們介紹五篇值得閱讀的ECCV 2020 oral【圖像識別】相關論文。ECCV與CVPR、ICCV並稱爲計算機視覺領域三大頂會。ECCV 2020共有5025篇投稿,其中1361篇被接受,接受率爲27%。git
ECCV 2020接受論文列表地址:github
https://eccv2020.eu/accepted-papers/網絡
第1篇:自適應學習網絡寬度與輸入分辨率架構
論文題目:《MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Resolution》框架
下載地址: https://arxiv.org/abs/1909.12978機器學習
github:https://github.com/taoyang1122/MutualNet性能
介紹:深度神經網絡已經在各類感知任務取得了巨大的勝利。然而,深度神經網絡一般須要大量的計算資源,這使得它們很難部署在移動設備和嵌入式系統上。本文對此所作的貢獻是:學習
強調輸入分辨率對於設計高效網絡的重要性。以往的研究要麼忽略它,要麼把它從網絡結構中分離出來。相比之下,本文將網絡寬度和輸入分辨率嵌入到一個統一的相互學習框架中來學習一個深度神經網絡(MutualNet),它能夠在運行時實現自適應的精度和效率的權衡。優化
進行了大量的實驗,以證實MutualNet的性能明顯優於獨立訓練的網絡。編碼
咱們進行全面的消融研究,以分析提議的相互學習方案。咱們進一步證實,咱們的框架有望做爲即插即用策略來提升單個網絡的性能,其性能大大超過了流行的性能提高方法,例如,數據擴充,SENet和知識蒸餾。
建議的架構是一個通用的訓練計劃,與模型無關。它能夠應用於任何網絡,而無需對結構進行任何調整。這使得它與其餘最早進的技術兼容。例如,神經結構搜索(NAS),自動數據加強技術。
本文提出了一種在動態資源約束(如每秒浮點運算次數)下訓練網絡的方法,該方法提出了一個輸入分辨率和網絡寬度的互學習方案,在運行時實現自適應精度-效率權衡的約束,在圖像分類、目標檢測和實例分割等各類任務上,顯著提升了輕量網絡的精度和效率的權衡。在COCO目標檢測、實例分割和遷移學習等方面也驗證了該方法的優越性。使人驚訝的是,MutualNet的訓練策略還能夠提升單個網絡的性能,在效率(GPU搜索小時數:15000 vs 0)和準確性(ImageNet:77.6% vs 78.6%)方面都大大優於強大的自動數據加強技術。
該互學習方案也被證實是提升單網絡性能的有效訓練策略。該框架的通用性使其可以很好地轉換爲通用的問題域,還能夠擴展到視頻輸入和3D神經網絡,其空間和時間信息均可以獲得利用。
整體框架以下所示:
第2篇:基於隨機特徵採樣和插值的空間自適應推理
論文題目:《Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation》
下載地址: https://arxiv.org/pdf/2003.08866.pdf
github: 暫未發現(歡迎留言補充)
介紹:在卷積神經網絡(CNN)的特徵映射中,廣泛存在大量的空間冗餘、重複處理。爲了減小這種多餘的計算,本文提出了一種減小卷積網絡計算量的方法:只計算稀疏採樣位置的特徵,這些位置是根據激活響應機率選擇的,而後使用有效的插值過程對特徵圖進行密集重構。
利用特徵映射中固有的稀疏性和空間冗餘性,咱們避免了在可有效插值的空間位置進行昂貴的計算。
框架圖:
第3篇:開放集識別的混合模型
論文題目:《Hybrid Models for Open Set Recognition》
下載地址: https://arxiv.org/abs/2003.12506
github:暫未發現(歡迎留言補充)
介紹:開放集識別須要一個分類器來檢測不屬於其訓練集中任何類的樣本,現有的方法對訓練樣本的嵌入空間上擬合一個機率分佈,並根據這個分佈來檢測離羣點。然而,這種分類只關注已知的類,對於區分未知的類可能沒有什麼效果。本文認爲,表示空間應該由內層分類器和密度估計器(做爲離羣點檢測器)共同窗習。爲此,提出了OpenHybrid框架,該框架由一個編碼器將輸入數據編碼到一個聯合嵌入空間,一個分類器將樣本分類到一個內部類,以及一個基於流的密度估計器來檢測樣本是否屬於未知類別。大量的實驗代表咱們的方法達到了最早進的水平。基於流的模型的一個常見問題是,它們一般爲分佈外的樣本分配更大的可能性。經過學習一個聯合特徵空間,以及在不一樣的數據集上進行觀察,這個問題獲得瞭解決。研究還代表,聯合訓練是促進開放集的識別性能的另外一個關鍵因素。
框架圖:
第4篇:梯度集中(GC):一種新的深層神經網絡優化技術
論文題目:《Gradient Centralization: A New Optimization Technique for Deep Neural Networks》
下載地址: https://arxiv.org/abs/2004.01461
github: https://github.com/Yonghongwei/Gradient-Centralization
介紹:優化技術對於有效地訓練深度神經網絡(DNN)具備重要意義。與現有的基於激活度或權值的優化方法不一樣,本文提出了一種新的優化技術,即梯度集中(gradient centralization,GC),它經過將梯度向量集中到零均值的方式,直接對梯度進行操做。經過綜合實驗代表,GC能夠對權值空間和輸出特徵空間進行規整,能夠很好地應用於不一樣優化器和網絡架構下的不一樣任務,提升了訓練效率和泛化性能。
框架圖:
第5篇:多任務學習加強對抗魯棒性
論文題目:《Multi-task Learning Increases Adversarial Robustness》
下載地址:https://arxiv.org/pdf/2007.07236.pdf
github:暫未發現(歡迎留言補充)
介紹:雖然深度網絡在一系列計算機視覺基準上達到了很強的精確度,但它們仍然容易受到對手的攻擊,一些沒法察覺的干擾數據欺騙了網絡。本文提供了理論和實證分析,將一個模型的對抗魯棒性與它所訓練的任務數量聯繫起來。在兩個數據集上的實驗代表,攻擊模型的難度隨着目標任務數量的增長而增長。此外,咱們的結果代表,當模型在同時進行多任務訓練時,它們在單個任務的對抗攻擊中會變得更穩健。也就是說,訓練任務數量低的狀況下,模型更容易受到對手的攻擊。咱們的工做是第一次將這種脆弱性與多任務學習聯繫起來,並暗示了一個新的研究方向,以理解和減輕這種脆弱性。
歡迎關注磐創AI博客站:
http://panchuang.net/
sklearn機器學習中文官方文檔:
http://sklearn123.com/
歡迎關注磐創博客資源彙總站:
http://docs.panchuang.net/