論文學習筆記 - 高光譜 和 LiDAR 融合分類合集

• A³CLNN: Spatial, Spectral and Multiscale Attention ConvLSTM Neural Network for Multisource Remote Sensing Data Classification

有效利用信息多個數據源的問題已成爲遙感領域一個相關但具備挑戰性的研究課題。在本文中，咱們提出了一種新的方法來利用兩個數據源的互補性：高光譜圖像（HSI）和光檢測與測距（LiDAR）數據。具體來講，咱們開發了一種新的雙通道空間，頻譜和多尺度注意力卷積長短時間記憶神經網絡（稱爲雙通道A3CLNN），用於特徵提取和多源遙感數據分類。首先針對HSI和LiDAR數據設計空間，光譜和多尺度注意機制，以便學習光譜和空間加強的特徵表示並表明不一樣類別的多尺度信息。在設計的融合網絡中，使用了一種新穎的複合注意力學習機制（結合了三級融合策略）來徹底整合這兩個數據源中的功能。最後，受轉學的想法啓發，設計了一種新穎的逐步訓練策略以產生最終的分類結果。咱們在多個多源遙感數據集上進行的實驗結果代表，新提出的雙通道A3CLNN具備比其餘最新方法更好的特徵表示能力（致使更具競爭力的分類性能）。

• Deep Encoder-Decoder Networks for Classification of Hyperspectral and LiDAR Data

深度學習（DL）因爲其強大的數據表示能力而受到了愈來愈多的關注（RS）。特別是，已證實深度模型對於基於單個給定模態的RS數據分類有效。然而，因爲缺少特徵多樣性，在單一模式下，識別材料的能力仍然受到限制。爲克服此限制，咱們經過遵循深層編碼器-解碼器網絡體系結構（簡稱EndNet）來提供一種簡單而有效的多峯DL基線，以對高光譜和光檢測與測距（LiDAR）數據進行分類。 EndNet經過強制融合功能來依次重構多模式輸入，從而融合了多模式信息。與一些常規且普遍使用的融合策略（例如，早期融合，中間融合和後期融合）相比，這種重構策略可以更好地跨模態激活神經元。在兩個流行的高光譜和LiDAR數據集上進行的普遍實驗證實，與高光譜LiDAR分類任務中的幾個最新基準相比，提議的EndNet具備優越性和有效性。這些代碼將在https://github.com/danfenghong/IEEE_GRSL_EndNet上可用，從而爲RS社區作出了貢獻。

• FusAtNet: Dual Attention based SpectroSpatial Multimodal Fusion Network for Hyperspectral and LiDAR Classification

隨着傳感技術的最新進展，多模態數據將可輕鬆用於各類應用，尤爲是在遙感（RS）中，在遙感中，許多數據類型如多光譜圖像（MSI），高光譜圖像（HSI），Li DAR等。可用。這些多源數據集的有效融合變得愈來愈重要，由於這些多模態特徵已經顯示出能夠生成高度準確的土地覆蓋圖。可是，考慮到數據中涉及的冗餘以及多種模式之間的較大域差別，在RS上下文中進行融合是不平凡的。另外，針對不一樣模態的特徵提取模塊之間很難相互影響，這進一步限制了它們的語義相關性。做爲補救措施，本文提出了一種特徵融合和提取框架工做，即FusAtNet，用於HSI和LiDAR數據的集體土地覆蓋分類。所提出的框架有效地利用了HSI模態，經過突出顯示其自身光譜特徵的「自我注意」機制來生成注意圖。一樣，同時使用「交叉注意」方法來利用LiDAR派生的注意地圖，該地圖強調了HSI的空間特徵。而後，與原始數據一塊兒進一步探索這些細心的光譜和空間表示，以得到模態特定的特徵嵌入。如此得到的面向模式的聯合光譜空間信息隨後被用於執行土地覆蓋分類任務。對三個HSI LiDAR數據集的實驗評估代表，所提出的方法達到了最新的分類性能，其中包括在休斯頓大學（Data Fusion Contest-2013）上可用的最大的HSI-LiDAR數據集。多峯特徵融合的分類方法。

• Multiple Feature-Based Superpixel-Level Decision Fusion for Hyperspectral and LiDAR Data Classification

遙感傳感器數量的迅速增長使開發多源特徵提取和融合技術成爲可能，從而提升了表面材料的分類精度。據報道，光檢測和測距（LiDAR）數據能夠爲高光譜圖像（HSI）提供補充信息。本文提出了一種基於多特徵的超像素級決策融合（MFSuDF）方法，用於HSI和LiDAR數據分類。具體而言，首先設計了超像素制導核主成分分析（KPCA）並將其應用於HSI，以減少尺寸並壓縮噪聲影響。接下來，分別對KPCA下降的HSI和LiDAR數據採用2-D和3-D Gabor濾波器，以獲取判別式Gabor特徵，而且將幅度和相位信息都考慮在內。三種不一樣的模塊，包括基於原始數據的特徵多維數據集（串聯的KPCA減小的HSI和LiDAR數據），Gabor幅度特徵多維數據集和Gabor相位特徵多維數據集（從KPCA下降的HSI和所以能夠實現LiDAR數據）。此後，引入隨機森林（RF）分類器和象限比特編碼（QBC）來分別完成對上述三個提取的特徵立方體的分類任務。或者，經過在組合的HSI和LiDAR數據上利用多通道簡單非迭代聚類（SNIC）和熵率超像素分割（ERS）算法生成兩個超像素圖，而後將其用於對三個分類圖進行正則化。最後，結合了基於加權多數投票的決策融合策略，以有效地加強多源數據的聯合使用。所以，建議的方法稱爲MFSuDF。在三個真實的數據集上進行了一系列實驗，以證實所提出的MFSuDF方法的有效性。實驗結果代表，當每一個樣本只有三個樣本時，咱們的MFSuDF能夠分別對休斯敦，特倫託和密蘇里大學和佛羅里達大學（MUUFL）Gulport數據集分別達到73.64％，93.88％和74.11％的總體精度。

• Joint Classification of Hyperspectral and LiDAR Data Using Hierarchical Random Walk and Deep CNN Architecture

使用多傳感器數據進行地球觀測愈來愈引發人們的注意。融合遙感高光譜圖像和光檢測和測距（LiDAR）數據有助於提升應用程序性能。在本文中，使用有效的分層隨機遊走網絡（HRWN）研究了高光譜圖像和LiDAR數據的聯合分類。在提出的HRWN中，首先開發了雙通道卷積神經網絡（CNN）架構來捕獲光譜和空間特徵。提出了一個像素方向的親和度分支，以從LiDAR數據中捕獲具備不一樣海拔信息的類之間的關係，並確認分類的空間對比度。而後在設計的分層隨機遊走層中，雙通道CNN的預測分佈充當全局先驗，而逐像素親和力反映了像素對的局部類似性，這在網絡的更深層中實現了空間一致性。最後，經過計算機率分佈得到分類圖。經過三個真實的多傳感器遙感數據驗證的實驗結果代表，所提出的HRWN明顯優於其餘最新技術。例如，兩個分支的CNN分類器在休斯頓大學校園數據集上的準確性達到88.91％，而擬議的HRWN分類器得到93.61％的準確性，從而提升了約5％。

• Fusion of Multispectral LiDAR, Hyperspectral, and RGB Data for Urban Land Cover Classification

隨着監視城市區域的重要性愈來愈高，出現了一個問題，即最適合解決相應挑戰的傳感器。 這封信提出了在隨機森林（RF）框架內進行新穎的節點測試的方法，使它們能夠單獨或組合地將其應用於光學RGB圖像，高光譜圖像以及光檢測和測距（LiDAR）數據。 這不只容許在不進行預處理或特徵提取的狀況下得出許多相關城市類別的準確分類結果，並且還能夠洞悉哪一種傳感器能夠提供最有意義的數據來解決給定的分類任務。 儘管僅基於一小部分訓練樣本，但在公開基準數據集上得到的結果要優於經過深度學習方法得到的結果。

• Classification of Hyperspectral and LiDAR Data Using Coupled CNNs

論文學習筆記 - Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

• Hyperspectral and LiDAR Classification With Semisupervised Graph Fusion

爲了融合高光譜和光檢測與測距（LiDAR），咱們提出了一種半監督圖融合（SSGF）方法。 咱們將形態濾波器應用於LiDAR和高光譜數據的前幾個份量，分別對高度和空間信息進行建模。 而後，將擬議的SSGF用於將光譜，高程和空間特徵投影到較低的子空間上以得到新特徵。 特別地，SSGF的目的是經過使用標記和未標記的樣原本最大化類分離能力並保留局部鄰居引擎蓋結構。 來自2013年IEEE地球科學與遙感學會（GRSS）數據融合競賽的高光譜和LiDAR數據的實驗結果證實了SSGF的優越性。

• Feature Extraction for Classification of Hyperspectral and LiDAR Data Using Patch-to-Patch CNN

多傳感器融合在與地球觀測有關的應用中很是重要。例如，高光譜圖像（HSI）提供了豐富的光譜信息，而光檢測和測距（LiDAR）數據提供了高程信息，而且將HSI和LiDAR數據一塊兒使用能夠實現更好的分類性能。本文提出了一種無監督的特徵提取框架，稱爲斑對斑卷積神經網絡（PToP CNN），用於高光譜和LiDAR數據的協同分類。更具體地說，首先開發了三塔式PToP映射，以尋求從HSI到LiDAR數據的準確率表示，旨在合併兩個不一樣來源之間的多尺度特徵。而後，經過對設計的PToP CNN的隱藏層進行光柵化，能夠將提取的特徵具備深融合的特徵。所以，來自不一樣隱藏層的特徵將被串聯成一個堆疊向量，並被饋送到三個徹底鏈接的層中。爲了驗證所提出分類框架的有效性，對兩個基準遙感數據集進行了實驗。實驗結果代表，與某些最新的分類器（例如，兩分支CNN和上下文CNN）相比，該方法可提供更好的性能。