如将PCA和CNN相结合的网络，既提取了判别性空间特征，又降低了计算量。
如用稀疏表示技术，将CNN提取的深度空间特征编码为低维稀疏特征，以提高特征表示能力和最终分类精度。
如采用off-the-shell CNNs(如AlexNet和GoogLeNet）提取深度空间特征。
3.Spectral-Spatial-Feature Networks
联合深光谱空间特征主要通过以下三种方法获得:
1)通过深度网络将低水平光谱空间特征映射到高水平光谱空间特征;
2)直接从原始数据或原始数据的几个主成分中提取深度特征;
3)融合两个独立的深度特征(即深度光谱特征和深度空间特征)。
基于这一观测结果，光谱-空间特征网络可进一步分为三类:基于预处理的网络、综合网络和基于后处理的网络。下图描绘了三种网络的范式，按照光谱信息与空间信息融合的处理阶段进行划分。下面将讨论这三种网络。
①Preprocessing-based networks:
总体而言，整个分类过程可分为三个阶段:低水平光谱空间特征融合、基于深度网络的高水平光谱空间特征提取、将基于深光谱空间特征的分类与简单分类器联合进行分类。
②Integrated networks：
通过二维CNN直接提取原始数据的联合光谱-空间特征，而不是分别获取光谱和空间特征再一起处理。
利用3d CNN有效提取深度光谱-空间组合特征，进行精确的HSI分类。实际上，高光谱数据通常可以用三维立方体的格式表示。因此，光谱和空间的三维卷积自然可以提供一种更有效的方法来同时提取这类图像的光谱-空间特征。
利用语义分割领域非常成功的全卷积网络(fully convolutional network, FCN)重建高光谱数据，该网络可以通过监督的方式或无监督的方式学习hsi的深度特征。
使用3d GAN作为光谱-空间分类器。在基于gan的HSI分类框架中，首先设计了一个CNN来区分输入，称为判别模型。然后用另一个CNN生成所谓的假输入作为生成模型。
③Postprocessing-based networks：
整个分类过程包括以下步骤:通过两个深度网络获得深度光谱特征和深度空间特征、将两种特征融合到一个完全连通的层中，生成联合的深光谱空间特征、基于深光谱空间特征的HSI分类与后续分类器联合。
分别使用一维CNN分支和二维CNN分支提取光谱特征和空间特征。然后，将学习到的光谱特征和空间特征拼接并反馈给全连通层，提取联合光谱空间特征进行分类。
六、针对有限样本的策略
1.数据增强：1)基于转换的样本生成2)基于混合的样本生成
2.迁移学习
3.无监督的特征学习方式，通过传输训练好的网络并对标记好的数据集进行微调，可以提高分类性能。
4.网络优化：通过采用更高效的模块或功能来进一步提高网络性能，例如使用残差连接构建更深的网络，选用合适的激活函数以及归一化方法。
七、实验
实验是对几种深度学习方法的比较，包括包括SVM、EMP、联合备用表示(JSR)和边缘保持滤波(EPF)，3D-CNN（《Deep feature extraction and classification of hyperspectral images based on convolutional neural networks》）， Gabor-CNN，带有像素对特征的CNN (CNN-PPF)，暹罗CNN (S-CNN) ， 3D-GAN和深度特征融合网络(DFFN)，用于HSI分类。在这些研究的方法中，SVM和CNN-PPF在分类时只使用了光谱特征。EMP、JSR、EPF、3D-CNN、Gabor-CNN、S-CNN、3D-GAN、DFFN等方法均属于基于光谱空间特征的分类方法。
下面是实验结果：
Houston：
Pavia:
Salinas:
本文还对几种提高分类精度的优化策略（数据增强、迁移学习和剩余学习）做了实验，最终结果表明在训练样本较少的情况下，这些策略确实在一定程度上提高了网络的性能，而残差学习在所有方法中获得了最高的改善。
八、总结展望
用于HSI分类的深度网络分为光谱-特征网络、空间-特征网络和光谱-空间-特征网络，每个类别提取相应的特征。同方法的分类精度表明，基于深度学习的方法总体上优于基于非深度学习的方法，残差学习和特征融合相结合的DFFN方法的分类性能最好。此外，考虑到遥感中可用的训练样本通常非常有限，而训练深度网络需要大量的样本，我们也纳入了一些提高分类性能的策略。实验结果表明，残差学习在所有方法中获得了最高的改善。本实验结果可为该课题的进一步研究提供一定的指导。
Original: https://www.cnblogs.com/AllFever/p/16669792.html
Author: AllFever
Title: 高光谱图像分类简述+《Deep Learning for Hyperspectral Image Classification: An Overview》综述论文笔记
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/565997/
转载文章受原作者版权保护。转载请注明原作者出处！