一种跨域人脸识别方法、装置、计算机设备及存储介质与流程

本技术涉及人脸识别领域，具体涉及一种跨域人脸识别方法、装置、计算机设备及存储介质。

背景技术：

1、随着人工智能的发展，人脸识别技术应用越来越广泛，人脸识别技术面临越来越多的跨域场景应用的问题。比较典型的是人证识别、特定人群的识别等应用场景（如小学生、老年人），这些特定域的数据量往往远小于通用人脸识别数据，导致直接基于这些数据训练人脸识别模型，容易出现过拟合的问题。同时，虽然这些特定域数据有自身特点，但与通用人脸数据也有比较大的联系，利用通用人脸数据来增强这些特定域的人脸识别性能是有意义的。

2、针对这一问题，一种比较常用的方式是先使用通用人脸识别数据训练通用人脸识别模型，然后再到特定域数据上进行微调训练。但是这种方式存在特定域数据量较小，容易出现过拟合的问题，在学习过程中失去了通用人脸数据的相关知识。

3、另一种方式是将通用人脸识别数据和特定域数据合并在一起进行训练，这种方式的缺点是：通用人脸识别数据量远多于特定域的数据，导致特定域的权重过低，虽然可以在计算损失函数时，人为调整不同数据的权重，但这种方式实现复杂，需要对数据做特殊标记和处理。

4、因此，现有的人脸识别技术在跨域场景应用时存在准确率低的技术问题。

5、本背景技术描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。

技术实现思路

1、为了解决上述技术问题，本技术提供了一种跨域人脸识别方法、装置、计算机设备及存储介质，具体方案如下：

2、第一方面，本技术实施例提供了一种跨域人脸识别方法，所述跨域人脸识别方法包括：

3、预先构建初始双分支人脸识别模型并获取跨域人脸图像，其中，所述初始双分支人脸识别模型包括特征共享网络和双分支网络，所述双分支网络包括左分支网络和右分支网络，所述跨域人脸图像包括通用域人脸数据和特定域人脸数据；

4、分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型；

5、在所述初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；

6、基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型；

7、获取待识别人脸图像并将所述待识别人脸图像输入训练后的目标双分支人脸识别模型进行识别，得到识别结果，其中，所述待识别人脸图像包括所述通用域人脸数据和所述特定域人脸数据中的任一种。

8、根据本技术公开的一种具体实施方式，分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型的步骤，包括：

9、固定所述右分支网络，使用所述通用域人脸数据训练所述左分支网络和所述特征共享网络；

10、固定所述左分支网络及所述特征共享网络，使用所述特定域人脸数据训练所述右分支网络。

11、根据本技术公开的一种具体实施方式，所述初始双分支人脸识别模型为多阶段模块结构，分支节点前的各阶段模块构成所述特征共享网络，分支节点后的所述右分支网络和所述左分支网络均包含一个阶段模块、一个第一dropout层和一个第一全连接层；

12、在所述初始双分支人脸识别模型中引入双重注意力模块的步骤，包括：

13、去除所述右分支网络和所述左分支网络中的所述第一dropout层和所述第一全连接层；

14、在所述右分支网络和所述左分支网络中的阶段模块后分别引入双重注意力模块，其中，所述双重注意力模块包括自注意力模块和通道注意力模块；

15、将两个所述双重注意力模块的输出相加后，连接一个第二dropout层和一个第二全连接层，其中，所述第二全连接层的权重初始化为两个所述第一全连接层的平均值。

16、根据本技术公开的一种具体实施方式，基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型的步骤，包括：

17、获取所述双分支网络中任一所述阶段模块输出的初始特征图，其中，所述跨域人脸图像由所述特征共享网络、所述双分支网络中的所述阶段模块进行特征提取和加深，得到所述初始特征图；

18、将所述初始特征图输入所述自注意力模块，得到自注意力特征图；

19、将所述自注意力特征图输入所述通道注意力模块，得到对应当前分支网络的加权特征图；

20、将所述左分支网络的加权特征图和所述右分支网络的加权特征图相加后，依次输入所述第二dropout层和所述第二全连接层，得到最终特征向量和训练后的所述目标双分支人脸识别模型。

21、根据本技术公开的一种具体实施方式，所述自注意力模块包括不同类型的卷积，其中，所述不同类型的卷积包括查询卷积、键卷积、值卷积；

22、将所述初始特征图输入所述自注意力模块，得到自注意力特征图的步骤，包括：

23、所述初始特征图分别经由所述查询卷积、键卷积和值卷积变换为第一特征图、第二特征图和第三特征图；

24、将所述第一特征图和第二特征图相乘并按行归一化得到注意力权重图；

25、将所述第三特征图和所述注意力权重图加权相乘后，得到所述自注意力特征图。

26、第二方面，本技术实施例提供了一种跨域人脸识别装置，所述跨域人脸识别装置包括：

27、获取模块，用于预先构建初始双分支人脸识别模型并获取跨域人脸图像，其中，所述初始双分支人脸识别模型包括特征共享网络和双分支网络，所述双分支网络包括左分支网络和右分支网络，所述跨域人脸图像包括通用域人脸数据和特定域人脸数据；

28、单域训练模块，用于分别采用所述通用域人脸数据和所述特定域人脸数据训练所述初始双分支人脸识别模型；

29、双重引入模块，用于在所述初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；

30、全域训练模块，用于基于所述通用域人脸数据和所述特定域人脸数据共同训练所述目标双分支人脸识别模型；

31、识别模块，用于获取待识别人脸图像并将所述待识别人脸图像输入训练后的目标双分支人脸识别模型进行识别，得到识别结果，其中，所述待识别人脸图像包括所述通用域人脸数据和所述特定域人脸数据中的任一种。

32、根据本技术公开的一种具体实施方式，所述单域训练模块具体用于：

33、固定所述右分支网络，使用所述通用域人脸数据训练所述左分支网络和所述特征共享网络；

34、固定所述左分支网络及所述特征共享网络，使用所述特定域人脸数据训练所述右分支网络。

35、根据本技术公开的一种具体实施方式，所述初始双分支人脸识别模型为多阶段模块结构，分支节点前的各阶段模块构成所述特征共享网络，分支节点后的所述右分支网络和所述左分支网络均包含一个阶段模块、一个第一dropout层和一个第一全连接层；

36、所述双重引入模块具体用于：

37、去除所述右分支网络和所述左分支网络中的所述第一dropout层和所述第一全连接层；

38、在所述右分支网络和所述左分支网络中的阶段模块后分别引入双重注意力模块，其中，所述双重注意力模块包括自注意力模块和通道注意力模块；

39、将两个所述双重注意力模块的输出相加后，连接一个第二dropout层和一个第二全连接层，其中，所述第二全连接层的权重初始化为两个所述第一全连接层的平均值。

40、第三方面，本技术实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上执行时实现第一方面中任一项所述的跨域人脸识别方法。

41、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在处理器上执行时实现第一方面中任一项所述的跨域人脸识别方法。

42、相对于现有技术而言，本技术具有以下有益效果：

43、本技术通过预先构建初始双分支人脸识别模型并获取跨域人脸图像；分别采用通用域人脸数据和特定域人脸数据训练初始双分支人脸识别模型；在初始双分支人脸识别模型中引入双重注意力模块，得到目标双分支人脸识别模型；基于通用域人脸数据和特定域人脸数据共同训练目标双分支人脸识别模型；将获取的待识别人脸图像输入目标双分支人脸识别模型进行识别，得到识别结果。本技术采用双分支网络模型进行多阶段训练，根据输入的人脸赋予两个分支的特征图不同的权重，不仅可以用于通用域和特定域场景，在跨域场景应用时也能自适应权重，提高人脸识别准确率。