最新綜述--細粒度圖像分析資源

引言

細粒度圖像，相對通用圖像（general/generic images）的區別和難點在於其圖像所屬類別的粒度更爲精細，也是目前計算機視覺領域比較熱門的一個方向，包括了分類、檢索以及圖片生成方向。

細粒度圖像類別的數據集也是愈來愈多，最先的時候，2011年左右的時候，基準的數據集就是花卉、鳥類（CUB200)以及貓狗數據集，而且數據量最多的狗類數據集是 2 萬張圖片左右，而如今數據集更多，涉及到更多的類別，包括服飾、水果蔬菜、零售商品等等，而且隨着深度學習的發展，各類分類模型的提出，對這些數據集的分類準確率也是愈來愈高。

今天推薦的是關於細粒度圖像分析資源的網站，做者是曠視的南京研究院負責人魏秀參，網站地址以下

www.weixiushen.com/project/Awe…

這個網站主要是介紹了和細粒度圖像分析相關的論文、代碼和數據集，論文都是很是新的結果，基本是2017到2019年的結果。

主要介紹的內容以下所示：

分別是9個方面的介紹：

1. 簡介
2. 教程
3. 調研論文
4. 基準數據集
5. 細粒度圖像識別
6. 細粒度圖像檢索
7. 細粒度圖像生成
8. 將來的發展方向
9. 分類準確率排行榜

---

1. 簡介

主要是介紹該網站的內容，也就是展現一些基於深度學習的細粒度圖像方面的有表明性的論文、代碼和數據集，它們的研究方向包括分類、檢索、圖片生成等等。

2. 教程

這裏推薦了兩份教程，都是做者本人作的教程，分別是 2018 版和 2019 版本

1. www.weixiushen.com/tutorial/PR…
2. www.icme2019.org/conf_tutori…

3. 調研論文

一樣是兩份：

1. Deep Learning for Fine-Grained Image Analysis: A Survey. 2019

論文地址：arxiv.org/abs/1907.03…

2. A Survey on Deep Learning-based Fine-Grained Object Classification and Semantic Segmentation. 2017

論文地址：link.springer.com/article/10.…

4. 基準數據集

這裏展現了 11 個數據集，以下圖所示，其中 BBox 表示數據集提供物體的邊界框信息，Part anno 則是數據集共了關鍵部位的位置信息，HRCHY 表示有分層次的標籤，ATR 表示屬性標籤（好比翅膀顏色等），Texts 表示提供了圖片的文本描述信息。

這裏的 11 個數據集基本包含不一樣類別的物體，好比鳥類、花朵、服飾、貓狗、水果蔬菜、零售商品等等，其中經常使用的數據集應該就是 CUB200 這個包含 200 個類別的鳥類數據集，不少論文的實驗數據集都會包含這個數據集。

5. 細粒度圖像識別

這裏將細粒度圖像識別的方法分爲如下三種：

• 基於定位-分類網絡(Fine-grained recognition by localization-classification subnetworks)
• 端到端特徵編碼(Fine-grained recognition by end-to-end feature encoding)
• 採用額外信息（Fine-grained recognition with external information），包括網絡數據、多模式數據（文本、音頻等）、加入人工操做

這裏介紹的前兩種方法的論文會更多，給出的論文，最老的是 2014 年的，而後還有最新的 CVPR 2019 的論文，而且對於有開源代碼的都提供了代碼地址。由於論文太多，就不一一列舉了，分別列出最新的一篇論文

基於定位-分類網絡

論文：Weakly Supervised Complementary Parts Models for Fine-Grained Image Classification From the Bottom Up. CVPR,2019

論文地址：openaccess.thecvf.com/content_CVP…

端到端特徵編碼

論文：Destruction and Construction Learning for Fine-grained Image Recognition，CVPR,2019

論文地址：openaccess.thecvf.com/content_CVP…

Github：github.com/JDAI-CV/DCL

採用額外信息，包括網絡數據、多模式數據（文本、音頻等）、加入人工操做

論文：Learning from Web Data using Adversarial Discriminative Neural Networks for Fine-Grained Classification. AAAI,2019

論文地址：github.com/sxzrt/Learn…

6. 細粒度圖像檢索

細粒度檢索方向分爲兩個方向

採用預訓練模型的無監督方法(Unsupervised with pre-trained models)

論文名稱：Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval.2017

論文地址：www.weixiushen.com/project/SCD…

採用度量學習的監督方法(Supervised with metric learning)

1. Centralized Ranking Loss with Weakly Supervised Localization for Fine-Grained Object Retrieval.IJCAI,2018

論文地址：www.ijcai.org/proceedings…

2. Towards Optimal Fine Grained Retrieval via Decorrelated Centralized Loss with Normalize-Scale layer.AAAI,2019

論文地址：mac.xmu.edu.cn/rrji/papers…

7. 細粒度圖像生成

一樣分爲兩個方向：

根據細粒度圖像分佈生成圖片(Generating from fine-grained image distributions)

1. CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training. ICCV,2017

論文地址：openaccess.thecvf.com/content_ICC…

Github：github.com/tkazusa/CVA…

2. FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery. CVPR,2019

論文地址：openaccess.thecvf.com/content_CVP…

Github：github.com/kkanshul/fi…

根據文本描述生成圖片(Generating from text descriptions)

論文：AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks.CVPR,2018

論文地址：openaccess.thecvf.com/content_cvp…

Github：github.com/taoxugit/At…

8. 將來發展的方向

列舉了兩個可能的方向：

1. 細粒度少樣本學習(Fine-grained few shot learning)

論文：Piecewise classifier mappings: Learning fine-grained learners for novel categories with few examples. TIP，2019

論文地址：www.weixiushen.com/publication…

2. 應用到更多真實場景(FGIA within more realistic settings)

下面是給出的三篇論文：

1. Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach. ICCV,2017

論文地址：ai.stanford.edu/~tgebru/pap…

2. The iNaturalist Species Classification and Detection Dataset. CVPR,2018

論文地址：openaccess.thecvf.com/content_cvp…

3. RPC: A Large-Scale Retail Product Checkout Dataset. 2019

論文地址：arxiv.org/abs/1901.07…

9. 分類準確率排行榜排行榜

這裏主要是在數據集 CUB200-2011 數據集上的測試準確率，列舉出目前最好的方法和其是否採用標準信息、額外的數據、採用的網絡結構、輸入圖片的大小設置以及分類準確率：

---

這個網站收集了目前細粒度圖像分析方面的資料，包括論文、代碼和數據集，特別是介紹的最新的一篇綜述論文：Deep Learning for Fine-Grained Image Analysis: A Survey.

論文地址：arxiv.org/abs/1907.03…

以及，魏秀參老師在 2017 年知乎上也發表過一篇細粒度圖像分析綜述，感興趣的也能夠看看：

zhuanlan.zhihu.com/p/24738319

歡迎關注個人微信公衆號--算法猿的成長，或者掃描下方的二維碼，你們一塊兒交流，學習和進步！