論文學習筆記 - Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

來源：IEEE TGRS 2020

下載：https://arxiv.org/abs/2002.01144

Abstract

本篇論文的主要工做就是基於信息融合的分類任務。

在這篇論文中，做者經過使用兩個耦合的CNN，提出一種融合高光譜和LiDAR數據的框架。設計一個CNN從高光譜數據中瞭解光譜空間特徵，另外一個則用於捕獲來自LiDAR數據。它們都由三個卷積層組成，最後兩個卷積層經過參數共享策略。在融合階段，特徵級融合和決策級融合方法同時用於集成這些充足的異質特徵。對於特徵級融合，評估了三種不一樣的融合策略，包括串聯策略，最大化策略和求和策略。對於決策級融合，加權採用求和策略，肯定權重經過每一個輸出的分類精度。

提出的模型根據在美國休斯頓得到的城市數據集進行評估，還有在乎大利Trento農村地區捕獲的數據。在休斯頓數據中，做者的模型能夠達到新記錄，總體精度爲96.03％。在Trento數據上，其整體精度爲99.12％。這些結果充分證實了做者提出的模型的有效性。

INTRODUCTION

文中模型的數據源是兩幅異質圖像——高光譜圖像（HSI）和激光雷達（LiDAR）圖像。

HSI圖像相比MSI具備更豐富的光譜信息，可是對於同一材質的物體區分性較弱，他們具備類似的光譜迴應。不一樣於HSI，LiDAR能夠記錄物體的海拔信息，可以爲HSI提供補充，兩者優點互補。

例如：區域中的樓房和道路由一樣的混凝土結構組成，HSI圖像很難區分兩者之間的差異，可是LiDAR圖像則能夠準確區分出樓房和道路，由於他們有不一樣的高度。相反，LiDAR沒法區分兩條用不一樣材料（瀝青和混凝土）組成的道路，而能夠用HSI。所以，融合高光譜和LiDAR數據是一種頗有前途的方案，其性能已經獲得了驗證。

METHODOLOGY

做者提出的模型主要包括兩個網絡：用於光譜空間特徵學習的HSI網絡和用於海拔特徵學習的LiDAR網絡。
它們每一個都包含一個輸入模塊，一個特徵學習模塊和融合模塊，如上圖所示。在特徵學習模塊中，輸入的HSI圖像和LiDAR圖像分別經過一個三層的網絡結構進行特徵提取，三層網絡結構中的後兩個卷積層權值共享。權值共享可以減小網絡參數，並且有利於兩個分支統一優化。特徵提取後則進入信息的融合模塊，在融合模塊中，構造了三個分類器，每一個CNN都有一個輸出層，它們的融合特徵也具備輸出層。

如圖2所示，兩組圖像特徵首先經過特徵級融合 \(F\) 得到特徵級融合特徵\(F3=F1+F2\) 或者 \(F3=max(F1,F2)\)，特徵級融合能夠採用逐元素相加或者Max函數。而後對上述 \(F1,F2,F3\) 分別如下操做：

\[y1=softmax(W1F1), y2=softmax(W2F2), y3=softmax(W3F3), y1,y2,y3\in R^{c*1} \]

而後文中使用決策級融合 \(D\) 得到最終的融合特徵：\(O=F1\odot y1+F2\odot y2+F3\odot y3\)，\(\odot\) 爲加權操做。

而後 \(L1\) 表示HSI圖像（\(y1\)）的交叉熵損失，\(L2\)表示LiDAR圖像（\(y2\)）的交叉熵損失。\(L3\)表示融合信息（\(O\)）的交叉熵損失。因此最終的損失函數爲：

\[L=\lambda1L1+\lambda2L2+L3 \]

EXPERIMENTS

CONCLUSIONS

在未來須要探索更強大的鄰近提取方法，由於當前的分類圖仍然存在過分平滑的問題。