論文閱讀 (十九)：Deep Multi-instance Learning with Dynamic Pooling (2018DP-MINN)

文章目錄

• 引入
• 1 多示例神經網絡的動態池化
• • 1.1 多示例學習
  • • 1.1.1 問題說明
    • 1.1.2 序列不變性
    • 1.1.3 MIL與神經網絡
  • 1.2 動態池化

引入

  使用神經網絡的多示例端到端優化是一個很重要的問題：如何在不損失過多實例級別信息的同時設計一個序列不變 (permutation-invariant)池化函數。
  受膠囊網絡 (capsule networks)中動態路由 (dynamic routing)的啓發，本文提出了一個新穎的針對MIL的動態池化函數：針對關鍵實例的自適應，以及對包中實例的上下文信息 (contextual information )進行建模。
  具體的，動態池迭代的更新實例對所屬包的貢獻程度，其具備序列不變的性質，以及可以解釋實例到包的關係。

---

【1】http://proceedings.mlr.press/v95/yan18a/yan18a.pdf

---

1 多示例神經網絡的動態池化

  主要內容：
  1）多示例學習基本概念；
  2）DP-MINN;
  3）相關討論。

1.1 多示例學習

  部分符號表以下：

符號	含義
X = { x 1 , x 2 , ⋯   , x K } X = \{ x_1, x_2, \cdots, x_K \} X={ x1​,x2​,⋯,xK​}	包
$x_i$	包中第$i$個$d$維特徵向量
$K$	包大小
Y ∈ { 0 , 1 } Y \in \{ 0, 1 \} Y∈{ 0,1}	標籤空間

  符號點評：
  1）$x_i$是一個向量，推薦使用${\mathbf{x}}_i$;
  2）$K$表示包的大小，是一個常量，而$K$經常使用來表示矩陣等。

1.1.1 問題說明

  實例到包的依賴關係隨着多示例 (MI)假設的變化而變化，與已有的工做不一樣，本文不固定使用某一MI假設，而將重點放在模型的構建上。

1.1.2 序列不變性

  MI中，包中的實例是一組特徵的集合，其沒有特定的順序。所以，MI數據的一個重要特色是輸入序列的不變性 (permutation invariance)基於對稱函數基本定理${}^{[1,2]}$，任意序列不變對稱函數$M$能夠分解維以下：
$$M(X)=\rho (\sum _{x\in X}\varphi (x)).\text{\hspace{1em}(1)}$$其中$\rho$和$\varphi$表明適當的轉換 (一號坑：怎麼轉換？)。

  點評：
  1）公式中使用的"."，應該把公式看做是一個句子。

---

注：
【1】Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Ruslan R Salakhutdinov, and Alexander J Smola. Deep sets. In Advances in Neural Information Processing Systems, pages 3394–3404, 2017.
【2】Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. Proc. Computer Vision and Pattern Recognition (CVPR), IEEE, 1(2):4, 2017.

---

1.1.3 MIL與神經網絡

  已有的MI-Net${}^{[1]}$和AttentionNet${}^{[2]}$分爲三步：
  1）經過實例轉換，習得實例嵌入；
  2）經過一個序列不變MIL池生成包嵌入；
  3）基於包嵌入分類包。
  第二步是關鍵，上面兩篇文章中的大佬已經定義了幾個池化函數 (這裏沒講，由於很快「窩們」就要提出本身的了)。

1.2 動態池化

  已有的MIL動態池化方法，很難，對包中實例的上下文信息建模，由於其遲緩函數是前向傳遞，且實例之間的權重是單獨計算的。
  受膠囊網絡啓發，本文提出了稱爲動態池化 (dynamic pooling)的協議池化 (pooling-by-agreement)策略。
  爲了方面講故事，首先定義實例轉換函數 $f(\cdot )$、實例嵌入函數 f ( X ) = { f ( x 1 ) , f ( x 2 ) , ⋯   , f ( x K ) } f (X) = \{ f (x_1), f_(x_2), \cdots, f (x_K) \} f(X)={ f(x1​),f(​x2​),⋯,f(xK​)}。
  本文的動態池化函數能夠表示以下的權重累加池化：
$$\sigma (X)=\sum _{i=1}^K{c}_{i}f(x_i),\text{\hspace{1em}(2)}$$其中實例權重$c_i$是一個描述實例$x_i$與相應包嵌入的分佈的標量 (二號坑：$f(\cdot )$是啥？$c_i$怎麼來？)。
  基於這些權重，本文使用公式 (2)匯聚實例嵌入維包的嵌入，並使用一個非線性 「squashing」函數，使得短向量縮短到幾乎零長度，長向量縮短到低於$1$：
$$s(X)=\frac{{\Vert \sigma (X)\Vert }^2}{1+{\Vert \sigma (X)\Vert }^2}\frac{\sigma (X)}{\Vert \sigma (X)\Vert }.\text{\hspace{1em}(3)}$$  與已有MIL池化函數不一樣，本文中實例權重$c_i$爲動態計算所得。爲了描述這一過程，本文定義了一個臨時實例權重$b_i$。而後，$c_i$經過一個簡單的softmax函數計算 (二號坑的$c_i$解決)：
$$c_i=\frac{\exp (b_i)}{{\sum }_j\exp (b_j)}.\text{\hspace{1em}(4)}$$  爲了簡化，上標$t$表示迭代次數：
  1）初始化，$t=1$，$b_i^1=0$表示包中實例對包嵌入等貢獻；
  

---

【1】Xinggang Wang, Yongluan Yan, Peng Tang, Xiang Bai, and Wenyu Liu. Revisiting multiple instance neural networks. Pattern Recognition, 74:15–24, 2018.
【2】Maximilian Ilse, Jakub M Tomczak, and Max Welling. Attention-based deep multiple instance learning. arXiv preprint arXiv:1802.04712, 2018.

本文同步分享在 博客「因吉」（CSDN）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。