一种基于深度卷积对抗域对齐的林火烟雾图像识别方法

本发明涉及森林火灾烟雾检测，特别是指一种基于深度卷积对抗域对齐的林火烟雾图像识别方法。

背景技术：

1、森林火灾是一种突发性、毁灭性的灾害，对人类的生命、财产、生态造成了严重的危害，所以，在森林火灾早期发现和早期预警是保护森林资源和减少灾害损失的关键，传统基于图像的火灾烟雾检测方法依赖于先验知识手工提取烟雾的浅层特征，并将一种至多种特征送入有监督分类器训练，这种方法适合于在特定环境下进行火灾烟雾探测，但当试验场景变化时，其性能将受到影响，现有基于深度神经网络的火灾烟雾检测方法能够自动提取深层及抽象的烟雾特征，实现端到端的自动检测，有研究者为提取更具有辨别性的烟雾特征，将传统方法与深度学习方法相结合，既能够提取浅层烟雾特征也能够提取深层烟雾特征，不同尺度融合的烟雾特征更具有辨别性，在确保低误报率的前提下，提高火灾烟雾检测的准确率，尽管深度神经网络能够从大量有标记的输入数据中学习强大的表示，但是它们不能总是能很好地概括输入分布的变化，域自适应算法已被提出来补偿由于域偏移而引起的性能退化。

2、中国专利公开号：cn102013009a。公开了一种烟雾图像识别方法，所述方法包括：将当前图像与背景图像相减获得差分图像；对所述差分图像进行运动目标检测；利用烟雾模型在检测出的运动目标中区分出疑似烟雾目标；利用光流误差方程计算所述疑似烟雾目标的运动矢量；统计所述疑似烟雾目标的运动矢量的方差；和所述方差大于预定阀值则确定所述疑似烟雾目标为烟雾目标。

3、由此可见，当前的烟雾图像识别方法的稳定性差且泛化能力弱。

技术实现思路

1、为此，本发明提供一种基于深度卷积对抗域对齐的林火烟雾图像识别方法，用以克服现有技术中烟雾图像识别方法的稳定性差且泛化能力弱的问题。

2、为实现上述目的，本发明提供一种基于深度卷积对抗域对齐的林火烟雾图像识别方法，包括

3、步骤s1，预先构建联合对抗学习及域对齐特征网络；

4、步骤s2，获取林火烟雾图像数据，根据所述林火烟雾图像数据建立林火烟雾图像数据集；

5、步骤s3，采用预先构建的联合对抗学习及域对齐特征网络中的特征提取网络对所述烟雾图像数据集进行特征提取；

6、步骤s4，将提取后的特征同时被送入所述联合对抗学习及域对齐特征网络中的标签预测器gi进行图像分类和对抗特征自适应网络gd进行域判别；

7、步骤s5，对分类损失和域对齐损失进行高效的联合优化。

8、其中，所述步骤s1中，所述联合对抗学习及域对齐特征网络包括特征提取网络、标签预测器gi以及对抗特征自适应网络gd。

9、进一步地，在所述步骤s2中，对所述烟雾图像数据集进行算法评估实验，所述烟雾图像数据集包括，自建的森林火灾烟雾数据集和公开的森林火灾烟雾数据集，所述自建的森林火灾烟雾数据集包括，ff_smoke数据集和ews_smoke数据集，所述公开的森林火灾烟雾数据集包括，江西财经大学数据集和卫星火灾烟雾数据集，所述卫星火灾烟雾数据集的图像均来源于中分辨率成像光谱仪数据，并对其进行分类，包括，烟雾图像、云图像、尘埃图像、阴霾、土地图像和海滩图像，将所述各图像进行选取，包括，训练集、验证集和测试集。

10、进一步地，采用所述标签预测器gi对所述烟雾图像数据集进行标签预测，具体为：利用域对齐将深度神经网络中的层激活的相关性进行对齐，并利用所提出的域对齐对对齐层进行深度域调整，

11、其中，所述标签预测器gi定义了一个单一特征层的两个域之间的域对齐损失，将源域训练样本进行编号，包括，第一训练样本为x1,第二训练样本为x2，……，第n训练样本为xn,将源域标签样本进行编号，包括，第一标签样本为y1,第二标签样本为y2，……，第n标签样本为yn，将未标记的目标样本进行编号，包括，第一目标样本为u1，第二目标样本为u2，……，第n目标样本为un。

12、进一步地，所述特征提取网络以原始rgb图像为所述源域训练样本xj,,特征提取网络的输出为gf(xj，θf)，其中θf表示学习参数，计算源域样本的特征表示和目标域样本的特征表示，

13、其中，所述源域样本的特征表示为，

14、所述目标域样本的特征表示为

15、其中，ds为所述源域的训练样本，

16、dt为未标记的目标域样本。

17、进一步地，所述标签预测器gi的结构与resnet50网络的标签预测器gi一致，标签预测器gi的输出是所述输入样本x的检测概率，通过负对数概率计算分类损失，根据源特征和目标特征的二阶统计量之间的距离计算得出域对齐损失，将所述分类损失和所述对齐损失结合，计算得到特定的目标领域工作特征。

18、进一步地，采用所述对抗特征自适应网络对所述烟雾图像数据集进行对抗损失计算，具体为：所述联合对抗学习及域对齐特征网络采用领域对抗训练方法，域判别学习方法为构建一个二分类分类器，通过源域误差及源域和目标域之间的距离概念之和来约束目标域的误差，

19、当源域和目标域分布相同时，判定源域风险是目标域风险的一个良好指标。

20、进一步地，对所述分类损失和所述对齐损失进行联合优化：采用随机梯度下降法来更新学习参数从而优化域对抗特征融合网络的总损失函数，所述随机梯度下降法为在联合对抗学习及域对齐特征网络和对抗特征自适应网络之间插入一个梯度反转层，当网络进行反向传播通过梯度反转层时，梯度反转层下游的损失相对于梯度反转层上游的参数的部分导数被乘以，因此，可以将梯度反转层表示为一个正向传播和一个反向传播，这种更新方法不同特征，包括领域不变性和判别性，

21、其中，所述域对抗特征融合网络的总损失函数，包括，所述标签预测器gi的损失值和对抗特征自适应网络的损失值，其中，标签预测器gi通过最小化器目标函数进行更新，所述对抗特征自适应网络通过最大化器目标函数进行更新。

22、进一步地，通过所述联合对抗学习及所述域对齐特征网络在不同烟雾数据集上进行结果对比，包括，联合对抗学习及域对齐特征网络在森林火灾烟雾数据集上结果对比和联合对抗学习及域对齐特征网络在公开烟雾数据集上结果对比。

23、进一步地，所述联合对抗学习及域对齐特征网络在森林火灾烟雾数据集上结果对比在自建的森林火灾烟雾数据集ff_smoke和ews_smoke上进行测试，测试结果表明特征提取网络结构一致的情况下，使用联合对抗学习及域对齐特征网络的测试结果要优于不使用联合对抗学习及域对齐特征网络的结果，验证了联合对抗学习和域对齐的有效性及其泛化能力。

24、进一步地，所述联合对抗学习及域对齐特征网络在公开烟雾数据集上结果对比将联合对抗学习及域对齐特征网络方法与现有的火灾烟雾检测方法在不同火灾场景的公开火灾烟雾数据集上进行比较，其中yuan_smoke数据集火灾烟雾图像均来源于城市火灾场景，且训练及测试图像均为图像块，因此，此数据集来表示目标物体较大的城市火灾烟雾数据集，所述卫星火灾烟雾数据集中数据是来源于卫星图像的森林火灾烟雾场景。

25、与现有技术相比，本发明的有益效果在于，提出了在域适应网络上增加一个域对齐架构来学习一个非线性转换，在这项工作中，通过构建一个可微的损失函数，将域对齐直接纳入深度网络，以最小化来源和目标相关性之间的差异——域对齐损失，与传统深度学习相比，提出的域对齐架构学习了一个非线性变换，它对齐深度神经网络中的层激活的相关性，实现森林火灾烟雾图像的高精度识别，提高了烟雾检测效率和性能，适用于检测背景环境复杂的烟雾图像。