学者观点 | 结合深度学习和半监督学习的遥感影像分类

图片来源网络

随着各类深度学习、深度生成模型、迁移学习等算法的迅速发展，在不充足样本下进行遥感影像分类识别任务出现了新方法，新思路。

如何结合深度学习技术解决遥感影像在样本不充分情况下的有效训练问题？怎样才能取得更出色的地物识别和分类效果？各算法适用的遥感影像数据特性、算法结构、训练策略及应用特点分别是什么？

华东师范大学谭琨教授及团队对近一两年用于遥感图像处理中小样本训练的深度学习方法进行综述（113篇文献），从深度生成模型、迁移学习以及一些高效特征提取网络3个方面进行全面剖析，以期推进更多研究者对基于深度学习的遥感影像分类问题的探索研究。

学者观点

特邀论文：结合深度学习和半监督学习的遥感影像分类进展

特邀学者：谭琨  华东师范大学

引用格式：谭琨, 王雪, 杜培军. 结合深度学习和半监督学习的遥感影像分类进展[J]. 中国图象图形学报, 2019, 24(11): 1823-1841.

全文链接：

http://www.cjig.cn/html/jig/2019/11/20191101.htm

背 景

作为采集分析地球数据及其变化的重要技术手段，遥感技术被广泛用于气候研究、环境监测、军事侦查、以及国土资源等领域。不同类型的遥感影像分类也具有不同的特点，如高光谱遥感影像，光谱特征冗余以及同谱异物和同物异谱的现象也是其分类任务中面临的巨大挑战，而对于高分辨率遥感影像，其空间特征的连续性和有效性也决定着分类结果的好坏。

“大数据”下的遥感对地观测技术新模式

从原始的目视解译方法到根据海量遥感影像分类问题引入的模式识别方法，如最大似然法、最小距离法、K-Nearest Neighbor（KNN）算法等，再到后来针对大量细节信息和光谱复杂化引入的Artificial Neural Network(ANN)、Support Vector Machine(SVM)、遗传算法和面向对象等算法，可以看出，与日俱增的海量遥感影像推动着遥感图像处理算法的进步。

在遥感技术进入数据密集型研究的今天，更加智能的计算技术和方法亟需被引入。

需要解决的问题

根据遥感影像特殊性质，若要更友好地结合深度学习,还需要解决如下问题：

1）由于数据密集性（空-光-时）、视场地点特殊（气候恶劣地区或外星球）等原因，标签样本不足在遥感图像处理领域较为普遍，这阻碍了深度学习模型的充分训练。

2）遥感数据的高维特性导致普通自然影像的深度学习模型效果欠佳，如何设计高效的符合遥感数据结构特性的深度学习网络也成为了热点问题之一。

3）遥感影像记录了各类地物电磁波强度，其内在的光学传输模型具有较强的物理意义，如何有效的结合深度学习模型与遥感相关的物理意义是此领域的难点。

4）深度学习模型在遥感影像特征提取中的黑箱性质难以解释。

深度学习与遥感影像

遥感领域深度学习、GAN和迁移学习论文发表情况

（统计数据源于Web of Science，统计日期至2019年12月）

小样本下遥感影像处理解决思路

我们将从以下三个方面介绍如何结合深度学习技术解决遥感影像在样本不充分情况下的有效训练问题。

基于样本增强的辅助训练方法

---深度生成模型

统计学中预测模型根据对数据学习的内容分为了两种模型，判别式模型和生成式模型。

前者直接面向数据的后验分布，不考虑样本本身的分布特性，只为确定决策边界和分类原则，像传统的SVM、MLR等模型以及深度学习中的CNN，LSTM，CapsNet等均为判别式模型。

生成式模型探索数据本身的联合统计分布特性，关注数据高阶相关性，而非是分类边界。这类方法有朴素贝叶斯、GMM、EM算法为代表的浅层生成式模型以及深度学习模型中的玻尔兹曼机、VAE、GAN等。

需要注意的是在深度模型中，虽然深度生成模型对概率分布进行建模，但是层间也会包含判别过程，所以区分依据仅从模型原理出发，在使用过程中互相借鉴，互有重叠。浅层生成式模型针对遥感数据这类高维问题时由于自身建模和表示能力有限，会出现优化困难的缺陷。相反，深度生成模型通过深层次网络逼近分布，对遥感数据分布可进行更精确的建模。

使用两种复杂概率分布深度生成式模型：生成对抗网络GAN和变分自动编码器VAE，在遥感领域应用做总结。

与估算真实分布的参数不同，GAN与VAE的原理均是通过隐变量分布模拟目标概率分布。使用函数逼近器（如自编码或CNN）和某种可微可测的损失计算方法，将任意一种概率分布（隐分布）映射到目标概率分布。两者区别在于，GAN使用多个深度神经网络来组建博弈过程，通过收敛进行这种映射，而VAE借鉴自编码网络的函数逼近器，使用KL散度结合变分下界的方式完成映射。

GAN网络在近期的研究比较火热，引入的GAN主要有如下结构DCGAN、 WGAN、LSGAN、CGAN、ACGAN和CycleGAN等，如表所示。应用从高光谱、高分影像到SAR影像，甚至结合GPS数据均有广泛涉及。

深度生成模型应用汇总表

生成模型	运用领域	适用数据	训练策略	特点
CGAN	变化检测	SAR与多光谱数据	异构训练	无监督，异构数据训练，但是图像块较小。
	几何校正	SAR与多光谱数据	异构训练	无需人工标定。
	目标探测	高分数据	数据增强	提升鲁棒性。
	分类	高光谱数据	数据增强	性能提升有限。
		高分数据	数据增强	SifitingGAN，提出生成策略，保证多样性，高质量。
DCGAN	变化检测	多光谱数据	差异图学习	无监督式训练，差异图生成后聚类优化。
	分类	高分数据	数据增强	大场景应用。
ACGAN	分类	高光谱数据	数据增强	光谱分辨率高，生成样本策略化提高质量,无空间信息。
				空谱结合的数据增强。
WGAN	分类	高光谱数据	数据增强	无空间信息。
				空谱特征，高维可分性强。
SeimiGAN	分类	高光谱数据	数据增强	分类后，使用CRF进行空间处理。
Cycle-GAN	可视化	高光谱数据	特征提取	颜色空间的迁移特征学习。
LSGAN	数据融合	热红外与多光谱数据	异构数据特征匹配	上采样过程对噪声的鲁棒性强。
GBGAN	超分辨率	高分数据	数据增强	丰富细节。
AAL	分类	高分/高光谱数据	数据增强	监督/半监督学习进行迁移。
VAE	混合像元分解	高光谱数据	结合自编码特征提取	与自编码特征提取组合使用，使用VAE实现NMF。
	变化检测	多光谱数据	差异图学习	VAE结果模糊。

（点击查看详细参考文献）

在以上的模型运用中，GAN的使用场景主要有三种：

1）对抗学习后生成样本；

2）对抗学习后作为判别式模型进行特征提取与分类；

3）进行域对抗解决迁移学习域适应问题。

其中涉及到的问题有：

1）训练的稳定性问题；

2）生成器在样本生成的多样性与有效性的均衡。

GAN本身训练不稳定性虽然被替换损失函数等措施改善，比如从JS散度替换为权重限制的Wasserstein距离测度或者替换成最小二乘损失函数，这些替换是否对实际遥感数据应用效果有明显提升有待确定，研究应注重在结合遥感数据的特质进行改进，尤其是在目前定量遥感的发展过程中，更需要对生成数据的细节有严格的控制。另外，在训练GAN时，应结合决策面的特征和分布特征同时进行训练，对生成器的多样性与有效性进行提升性能。

基于知识复用的辅助训练策略

---迁移学习

针对数据依赖的情况，放宽训练数据与测试数据独立同分布的假设，迁移学习就可以解决训练样本不足的问题。由于逐层权值的结构特性更加适应于训练知识复用和微调机制，这使得在遥感影像分类问题中迁移学习的训练策略更多的应用在基于深度神经网络的算法模型中。迁移学习的目的是花更少的代价建立更准确的模型。它可以将源域学习的知识应用到新的目标域上。

迁移学习在遥感技术领域的应用已然不是一个新的概念，从浅层方法到结合深度网络结构，大量的研究都在解决类似的问题：如何有效的解决由于传感器、采集时间、地表变化、视场和光照差异所引起的影像分布漂移对模型的影响。

其解决思路可归纳为两个方面：

1）将预训练的网络进行目标域特征提取或者微调直接应用到分类任务。遥感领域中对空间纹理或者光谱纹理的特征提取的有效性对分类性能影响很大，而深层次的特征提取网络需要大量的数据进行训练，因此训练好的网络再利用是最直接的迁移策略；

2）基于结构迁移的方法，将源域与目标域的数据结构或者网络结构映射到相似空间。基于结构迁移的方法可以为如何充分利用已有的样本提供解决思路。

深层迁移学习应用汇总表

原理	运用领域	适用数据	特点
基于特征的迁移	语义分割	多光谱数据	数据增强、跨场景，抑制过拟合。
	场景分类	高分数据	与FCN结合、特征融合。
基于网络的迁移	定量分析	高光谱数据	深度迁移与物化机理分析相结合。
	目标探测	高光谱数据	精细分块编码实现大范围高光谱遥感。影像的目标探测
	分类/目标探测/几何校正	高分数据	多时相数据处理等。
基于数据分布的迁移	特征提取	高分数据	双网络映射，权重微调。
			在网络内部Batchnormal训练，对目标域特征概率空间进行迁移，减少运算开支
基于模型的迁移	分类	高光谱数据	更改源域卷积网络的卷积核参数，少量标记样本进行。
			空谱双网络，可对航空与地面不同视角的数据进行训练。但精度不高。
		高分数据	Zero-shot学习，源域目标域类别无交叉迁移，但精度不高。
	反演	高光谱数据	结合植物物候信息进行自适应特征提取。
其他-主动学习	分类	SAR数据	中层表征网络迁移，主动学习标记样本微调，较大幅度提升进度。
		高光谱数据	主动学习策略初始化训练样本，更好表达源域目标域的特征空间。

（点击查看详细参考文献）

迁移学习虽然为充分利用已有标签数据提供可能的解决思路，但是迁移学习的能力也是有限的，当两个域间的任务和数据分布和规模差异很大容易出现负迁移的情况。所以结合遥感技术领域的可迁移性衡量标准应该被进一步的研究。

其他深度学习策略

有效的特征提取不仅可以优化数据特征的可分性，还能帮助解决训练样本不足与特征维度高的训练冲突。

在此讨论基于深度特征提取方法应对样本不足情况下的案例：

1）结合半监督思想的深度训练技术。

2）其他策略。半监督学习技术可以更好的学习标注和未标注的数据，从而使深度特征提取模型训练更加充分。另有一些新颖学习思想和网络结构（例如few-shot学习）也进行了介绍。

其他深度学习策略应用汇总表

学习类型	适用数据	运用领域	特点
半监督学习	高光谱数据	分类	聚类形成伪标签对网络预训练，之后监督微调。
			训练过程中引入空谱特征。
			标注样本与未标注样本同时对网络训练。
	高分/高光谱数据	场景分类	协同训练生成伪标签，对网络训练。
	多光谱数据	图像检索	先无监督训练再少量标记样本下有监督训练。
主动学习	高分数据	建筑物提取	大范围的应用有效性有待考证。
	高光谱数据	分类	融合了深度贝叶斯网络的训练方法。
			引入贝叶斯卷积神经网络，用神经元表征分布特性，尝试对深度学习黑箱性进行解释。
FSL	高光谱数据	分类	基于原型网络的小样本学习，空谱结合。
	SAR数据	分类	灵活建立测度函数，实现光学到SAR异构数据的小样本训练问题。
	高分数据	分类/变化检测	基于孪生网络的小样本训练，多种测度方式。
		道路提取	结合SLIC分割进行多尺度孪生组网。
		图像检索	—
其他	高光谱数据	分类	组建双通道网络，分别对空谱特征进行学习。
			引入胶囊网络。
			空间尺度多粒度组网，进行集成学习。
			CNN网络结合CRF后处理进行空谱分类。
			添加跳跃结构的反卷积进行金字塔式的空谱特征提取。
			深度学习结合字典学习构建layer-wise的深度字典。

（点击查看详细参考文献）

结 语

当深度学习遇到标签样本有限的遥感分析技术时，主要有两种解决方法：

1）直接标签解决样本少的问题，增加先验知识进行训练，这类方法有迁移学习、深度生成模型等。

2）在标签样本少的基础上，使用策略提取深度有效的时-空-谱特征进行训练，这类方法往往会构建或选择先进的深度特征的网络结构（在其他领域表现优越），同时结合半监督学习、集成学习和字典学习等思想进行网络的训练。

在实际的研究当中往往是两种解决思路相互借鉴、相互补充。得益于各种模型的探索，深度学习已经在领域内发挥了极大的优势，性能普遍超过了浅层的学习器。但还是有一些问题存在的：

 1）新模型的推广使用，研究大都在科学实验类型的标准数据集中进行试验，虽然有一些实用性的遥感应用，比如苍灵系统的构建，但是对于数据密集型的遥感市场来讲可应用的算法还是不足。算法提供解决实际问题的思路，而不同的遥感数据和应用可以指导算法的进化。如何结合新模型将海量异构的遥感大数据进行高效率低成本的学习与利用应该值得学者以后的探索。

2）在深度学习模型中尝试引入反馈机制，针对不同结构的数据进行“Adaptation”结合“Reward”的训练，将训练作为一种链式过程，在知识量增长同时，控制矛盾信息，有效整合大数据量下偏差数据的控制和小数据量下原知识的复用，在零样本或小样本的情况下达到高精度的结果。

3）在应用深度模型的同时，应结合遥感的物理机理对模型进行优化，特别是针对高光谱遥感应用领域中结合成像机理的研究还有所欠缺。

作者及团队介绍

谭琨，1981年生，华东师范大学教授，主要研究领域为高光谱遥感，环境遥感，EMAIL：tankuncu@126.com。谭琨教授带领下的星空地协同对地监测研究组，研究方向主要有高光谱遥感、遥感反演及应用、智能遥感影像处理以及环境遥感和地学应用等，关注最新的环境遥感、人工智能、大数据等新兴科技，通过多源、多尺度、多维度的遥感和地理时空数据，定性与定量相结合，构建土壤、水体、植被等资源环境承载力模型，服务于新时代的社会经济可持续发展。

编辑推荐

本文系《中国图象图形学报》独家稿件

内容仅供学习交流

版权属于原作者

欢迎大家关注转发！

编辑：韩小荷

指导/审核：梧桐君

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

前沿丨观点丨资讯丨独家

扫描下方二维码 关注学报公众号

中国图象图形学报 | 订阅号

在看点这里