一种面向光电吊舱侦察图像的轻量化场景分类方法与流程

本发明涉及一种遥感图像处理领域，特别是一种面向光电吊舱侦察图像的轻量化场景分类方法。

背景技术：

1、遥感技术的广泛应用使得大量的遥感图像数据被获取并广泛应用于军事侦察、资源勘探、环境监测和灾难评估等领域。然而，对于这些海量的遥感图像数据进行准确、高效的解译仍然是一个具有挑战性的问题。传统的遥感图像解译方法通常依赖于人工操作和基于规则的算法，这些方法的效率低下且容易受到主观因素的影响，限制了遥感数据的充分利用和应用。

2、卷积神经网络(cnn)由于其成功而被广泛地应用于遥感图像场景分类。然而，其大量的内部参数导致了高计算和内存要求，导致每秒浮点运算(flops)效率低下，尤其是在频繁的内存访问和大量的运算器下。为了解决这个问题，亟需研发一种轻量化的场景分类方法来提高运算效率。

技术实现思路

1、本发明的目的在于，提供一种面向光电吊舱侦察图像的轻量化场景分类方法。本发明具有能够有效提高运算效率的特点。

2、本发明的技术方案：一种面向光电吊舱侦察图像的轻量化场景分类方法，包括以下步骤：

3、a、通过数据获取模块获取待场景分类的图像，对待场景分类的图像进行预处理，得到预处理后图像；

4、b、通过特征提取器提取预处理后图像中的深层语义特征图；

5、c、基于特征提取瓶颈块构建轻量化场景分类网络；

6、所述特征提取瓶颈块包括轻量空间特征提取模块和注意力机制模块；轻量空间特征提取模块使用部分卷积方式来提取特征图中的空间特征；注意力机制模块捕捉特征图中空间和通道间的非线性信息，并将有效的特征信息输入到轻量空间特征提取模块中；

7、d、将深层语义特征图输入到轻量化场景分类网络中进行分类，得到图像的分类结果。

8、前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，对待场景分类的图像进行预处理的具体过程为：确定待场景分类的图像数据的属性信息及尺寸信息，将待场景分类的图像转换成3通道图像，并对3通道图像进行裁剪；

9、其中，将待场景分类的图像转换成3通道图像的方法，包括基于pca主成份分析法的图像扩充法以及基于自编码器的图像降噪法。

10、前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，轻量化场景分类网络的具体分类过程为：对深层语义特征图依次通过多个特征提取瓶颈块的特征提取操作，得到特征提取图；然后特征提取图依次经1×1卷积、全局平均池化处理和全连接层进行分类处理，得到图像的分类结果。

11、前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，特征提取瓶颈块的具体操作过程为：先通过轻量空间特征提取模块对输入的特征图进行空间特征的提取，得到具有深层空间语义信息的特征图；然后通过注意力机制模块捕捉具有深层空间语义信息的特征图中通道间的非线性信息，得到通道特征图，并输入到轻量空间特征提取模块中；轻量空间特征提取模块从通道特征图中提取得到高层次语义特征图；最后将高层次语义特征图与初始输入的深层语义特征图加和。

12、前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，轻量空间特征提取模块的提取过程：

13、对深层语义特征图进行归一化处理后得到图像数据fm，图像数据fm输入到轻量空间特征提取模块中，轻量空间特征提取模块使用部分卷积方式对1/4输入通道进行常规卷积以提取空间特征，对其余通道不作处理，得到具有深层空间语义信息的特征图f。

14、前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，对具有深层空间语义信息的特征图f经注意力机制模块以提取通道和空间维度的信息，实施过程如下：

15、首先使用全局平均池化和全局最大池化操作对具有深层空间语义信息的特征图f的空间信息进行聚合，生成两个不同的空间上下文描述符和分别表示全局平均池化和全局最大池化；将和通过2×1卷积组合，并通过多层感知器学习，得到最终的频道注意图f1；

16、频道注意图f1的计算表示为：

17、式中，w0和w1为多层感知器的权值，w0∈r(c/r)×c，w1∈rc，c/r为隐藏层的大小，其中，c为压缩前的通道数，r表示实数空间，r为压缩率；f2×1表示卷积层滤波器的尺寸为2×1；

18、随后，在组合卷积后，使用3×3卷积进行信道降维，然后再使用双线性插值方法以完成上采样，得到采样特征图f2，f2的计算公式为：

19、f2＝fbilinear(f3([f1(f)；f2(f)])，式中，fbilinear为双线性插值；f1、f2和f3表示卷积核大小为3×3的深度卷积，其中f1和f2的步长均为2；f表示同时需要输入至深度卷积层f1和f2的特征图；

20、最后，返回激活函数σ(f1×f2)，得到有效的通道特征图，σ(.)表示sigomoid激活函数。

21、前述的一种面向光电吊舱侦察图像的轻量化场景分类方法中，步骤c中，还需对基于特征提取瓶颈块构建的轻量化场景分类网络进行训练，训练具体过程为：

22、c1、将预处理后图像中20％-50％的数据作为训练集；

23、c2、对训练集中的图像数据进行归一化处理，得到归一化后图像数据；

24、c3、提取归一化后图像数据中的深层语义特征图，并输入到轻量化场景分类网络中，得到训练集中的图像深层语义信息；

25、c4、然后利用轻量化场景分类网络对训练集中的图像深层语义信息进行分类，得到分类后的类别；根据分类结果，求出损失函数的值，通过反向传播更新轻量化场景分类网络的参数，从而完成对轻量化场景分类网络的训练。

26、与现有技术相比，本发明基于特征提取瓶颈块构建轻量化场景分类网络，使用轻量空间特征提取模块(轻量级的卷积层)和一个注意力机制模块，以加强网络中空间和通道信息的提取，在保持可靠的解译结果的同时大大降低了计算成本，减少对计算能力和内存的需求，降低能源消耗，能在gpu甚至cpu上进行快速处理，有效提高运算效率，使其成为嵌入式系统的一个有前途的选择。综上所述，本发明具有能够有效提高运算效率的特点。

27、经测试，与先进的方法相比参数量减少了18.56％，运算量减少了25.02％。在gpu和cpu上的推理时间低于大部分的放的方法，延迟分别减少了12.5％、15.90％。

技术特征：

1.一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，对待场景分类的图像进行预处理的具体过程为：确定待场景分类的图像数据的属性信息及尺寸信息，将待场景分类的图像转换成3通道图像，并对3通道图像进行裁剪；

3.根据权利要求1所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，轻量化场景分类网络的具体分类过程为：对深层语义特征图依次通过多个特征提取瓶颈块的特征提取操作，得到特征提取图；然后特征提取图依次经1×1卷积、全局平均池化处理和全连接层进行分类处理，得到图像的分类结果。

4.根据权利要求1所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，特征提取瓶颈块的具体操作过程为：先通过轻量空间特征提取模块对输入的特征图进行空间特征的提取，得到具有深层空间语义信息的特征图；然后通过注意力机制模块捕捉具有深层空间语义信息的特征图中通道间的非线性信息，得到通道特征图，并输入到轻量空间特征提取模块中；轻量空间特征提取模块从通道特征图中提取得到高层次语义特征图；最后将高层次语义特征图与初始输入的深层语义特征图加和。

5.根据权利要求4所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，轻量空间特征提取模块的提取过程：

6.根据权利要求5所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，对具有深层空间语义信息的特征图f经注意力机制模块以提取通道和空间维度的信息，实施过程如下：

7.根据权利要求1所述的一种面向光电吊舱侦察图像的轻量化场景分类方法，其特征在于，步骤c中，还需对基于特征提取瓶颈块构建的轻量化场景分类网络进行训练，训练具体过程为：

技术总结
本发明公开了一种面向光电吊舱侦察图像的轻量化场景分类方法，包括以下步骤：A、通过数据获取模块获取待场景分类的图像，对待场景分类的图像进行预处理，得到预处理后图像；B、通过特征提取器提取预处理后图像中的深层语义特征图；C、基于特征提取瓶颈块构建轻量化场景分类网络；所述特征提取瓶颈块通过轻量空间特征提取模块使用部分卷积方式来提取特征图中的空间特征；通过注意力机制模块捕捉特征图中空间和通道间的非线性信息，并将有效的特征信息输入到轻量空间特征提取模块中；D、将深层语义特征图输入到轻量化场景分类网络中进行分类，得到图像的分类结果。本发明具有能够有效提高运算效率的特点。

技术研发人员：叶飞,程文明,张国财,唐长华,魏振兴
受保护的技术使用者：浙江航天润博测控技术有限公司
技术研发日：
技术公布日：2024/1/16