一种基于迁移学习的复杂环境下猪脸识别方法及系统

本发明属于计算机视觉，尤其涉及一种基于迁移学习的复杂环境下猪脸识别方法及系统。

背景技术：

1、随着全球化及科技的进步，养猪业正迅速向集约化、自动化和智能化转型。在这一背景下，实现对猪只的高效监控和管理成为提高产业效率和动物福利的关键因素。传统的猪只识别方法，如在动物耳朵上穿孔安装耳标或使用无线射频识别(rfid)标签，尽管被广泛应用，但这些方法存在诸多不足。耳标和rfid标签的使用会引起动物不适，甚至损伤，而且在日常管理中容易损坏或丢失。此外，这些方法需要人工操作，效率低下，且难以适应大规模、高密度养殖的需求。非接触式的猪脸识别技术，作为一种新兴的动物识别方式，为解决这些问题提供了新的视角。它基于计算机视觉和深度学习技术，通过分析猪的面部特征进行识别，不仅避免了对动物的身体伤害，而且提高了识别的准确性和效率。这一技术的应用有望促进自动化养猪管理系统的发展，改善动物福利，提高养殖效率和经济效益。

2、然而，猪脸自动识别技术在实际应用中面临着多重挑战。首先，猪只在不同生长阶段的面部特征会发生显著变化，这给基于面部特征的稳定识别带来难度。其次，养猪环境的光照条件多变，从强光到昏暗的环境都存在，这些条件的变化影响到图像质量和识别效果。此外，猪只的活动自由度高，导致从不同角度和距离拍摄的猪脸图像差异较大，增加了识别的复杂度。因此，传统的基于图像的猪脸识别模型在这些复杂条件下的性能会大幅下降。为了克服这些挑战，需要开发更加高效、稳定且适应性强的猪脸识别技术。这包括使用先进的图像处理和深度学习技术来增强模型对于不同光照条件、视角变化和猪只生长阶段的适应性。此外，还需要研发高效的算法来处理大量的图像数据，实现快速准确的猪脸检测和识别，以适应现代养猪业的需要。

3、通过上述分析，现有技术存在的问题及缺陷为：传统的基于图像的猪脸识别模型在复杂条件下的性能会大幅下降。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于迁移学习的复杂环境下猪脸识别方法及系统，运用多种卷积神经网络模型对猪进行识别，通过结合多个时间点的图像数据，利用深度学习技术来实现高度准确的猪只身份识别，以解决现有技术自动化识别困难的问题。

2、本发明是这样实现的，一种基于迁移学习的复杂环境下猪脸识别方法，包括：

3、s1，大型数据集的创建和应用：开发一个包含45，000张137只猪的面部图像的大型数据集，图像采集涵盖了不同的照明条件和多角度拍摄，以确保数据的多样性和全面性；

4、s2，高级数据预处理技术：利用opencv工具对收集的图像进行预处理，包括调整大小、形状和方向，以确保图像质量，使用多边形注释工具进行面部特征的精确标注，保留猪脸的自然轮廓；

5、s3，数据增强和泛化能力提升：通过随机擦除和其他数据增强技术增加数据集的多样性，提高模型的泛化能力，测试和验证不同的数据增强方法对模型准确性的影响；

6、s4，深度学习模型的选择和优化：选择和调整五种不同的cnn架构，包括convnext、resnet、googlenet、vgg和mobilenet，对这些模型进行微调，以适应猪脸识别的特定需求；

7、s5，度量深度学习和特征提取：实现了基于三元组损失函数的度量深度学习方法，以提高模型对未知样本的识别准确率，采用先进的特征提取技术，以确保准确和高效的猪脸识别；

8、s6，模型可视化和解释性：应用grad-cam算法进行模型可视化，以揭示模型的决策过程，确保决策的透明性和可解释性，通过可视化分析，识别模型依赖的关键面部特征。

9、进一步，s2中，数据预处理技术包括：利用opencv软件对每张图像进行尺寸调整，以确保猪脸在图像中居中并正对镜头。对图像进行旋转和裁剪，移除无关背景，突出面部特征。

10、进一步，s3具体为使用八种数据增强方式以增加数据集的多样性，其中包括随机旋转、随机翻转、随机平移，随机放缩裁剪、随机剪切、随机擦除、随机注入噪声、随机遮挡。

11、进一步，s4将所有数据按大约4:1的比例分成训练集和验证子集，将第1-40天的数据指定为训练数据，将第41-49天的数据指定为验证数据，将数据增强后的数据放入卷积神经网络架构中训练，具体为：

12、s41，首先进行深度学习模型的精选，选择convnext、resnet、googlenet、vgg和mobilenet；convnext被选中是因为其出色的图像处理能力，resnet因能有效处理深层网络中的梯度消失问题而被选用，googlenet则因其“inception”模块在处理复杂图像方面的能力而受到青睐，vgg因其结构的简洁性和稳定性被选中，而mobilenet则适合于资源受限的环境；

13、s42，在模型选择之后，对这些模型进行精细的微调，包括从imagenet预训练权重开始的初始化，针对巴马猪面部识别需求调整层次结构和参数，例如卷积层和滤波器的大小调整，以及学习率、激活函数和正则化策略的优化；特别关注了那些直接与猪脸特征提取相关的层，对其进行更细致的调整；采用逐渐减小学习率的策略，并通过交叉验证方法来评估不同模型配置的性能，以确保在猪脸识别任务中实现最优的效果。

14、进一步，s5将原始数据分成两个子集，一个是由137头猪组成的开放集，其中包括100头已知个体和37头未知个体。随后，这100头已知猪的数据又按4:1的比例分为训练集和验证集，具体为：

15、s51，三元组损失函数被用于优化深度学习模型，这个函数工作原理是通过最小化同一类别(正样本)间的距离，同时最大化不同类别(负样本)间的距离；这意味着使相同猪只的面部图像更接近，而不同猪只的面部图像更远离；

16、s52，利用上述数据集，模型被训练以区分137只猪的面部特征；训练过程包括选择三元组(一个锚点图像、一个正样本图像和一个负样本图像)，然后通过网络进行前向传播，根据三元组损失函数调整网络权重；

17、s53，选择已经在大型数据库(如imagenet)上预训练过的深度学习模型。这些模型已经学会了从图像中提取复杂的特征；

18、s54，对于每个猪只的面部图像，模型生成一个特征向量，这个向量是对图像内容的高度抽象表示；这些特征向量捕捉了面部的关键特征，包括形状、纹理和颜色；

19、s55，提取的特征向量随后被用于对新图像进行分类和识别。当新图像通过模型时，它的特征向量会与已知的特征向量进行比较，以确定最相似的类别，从而实现准确识别。

20、进一步，s6为了关注模型的训练学习过程，使用grad-cam算法对模型进行可视化分析，具体为：

21、s61，在模型的最后一个卷积层上应用grad-cam，该层捕获了高级特征，对于分类任务至关重要；

22、s62，选择一批测试图像，对于每张测试图像，使用模型进行前向传播，计算出最后一个卷积层的特征图，基于模型的输出(即分类决策)，计算特征图对于特定分类决策的重要性权重；

23、s63，使用计算得到的重要性权重，生成每张测试图像的热力图，热力图中较“热”(通常是较亮或较红)的区域表明这些区域对于模型的分类决策贡献更大，通过观察热力图，识别模型在进行猪脸识别时主要关注的面部区域。

24、本发明的另一目的在于提供一种应用所述基于迁移学习的复杂环境下猪脸识别方法的基于迁移学习的复杂环境下猪脸识别系统，包括：

25、数据集创建模块：用于开发一个包含45，000张137只猪的面部图像的大型数据集，图像采集涵盖了不同的照明条件和多角度拍摄，以确保数据的多样性和全面性；

26、数据预处理模块：用于利用opencv工具对收集的图像进行预处理，包括调整大小、形状和方向，以确保图像质量，使用多边形注释工具进行面部特征的精确标注，保留猪脸的自然轮廓；

27、数据增强模块：用于通过随机擦除和其他数据增强技术增加数据集的多样性，提高模型的泛化能力，测试和验证不同的数据增强方法对模型准确性的影响；

28、深度学习模型选择模块：用于选择和调整五种不同的cnn架构，包括convnext、resnet、googlenet、vgg和mobilenet，对这些模型进行微调，以适应猪脸识别的特定需求；

29、特征提取模块：用于实现基于三元组损失函数的度量深度学习方法，以提高模型对未知样本的识别准确率，采用先进的特征提取技术，以确保准确和高效的猪脸识别；

30、模型可视化模块：用于应用grad-cam算法进行模型可视化，以揭示模型的决策过程，确保决策的透明性和可解释性，通过可视化分析，识别模型依赖的关键面部特征。

31、本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的基于迁移学习的复杂环境下猪脸识别方法的步骤。

32、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的基于迁移学习的复杂环境下猪脸识别方法的步骤。

33、本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的基于迁移学习的复杂环境下猪脸识别系统。

34、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

35、第一，针对上述现有技术存在的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

36、(1)提高识别准确性：通过使用先进的卷积神经网络模型和大规模、高质量的猪的面部数据集，本发明显著提高了猪脸识别的准确性，特别是在识别不同个体时；

37、(2)增强模型泛化能力：利用多样化的数据增强技术，本发明提高了模型在各种环境和条件下的泛化能力，确保在不同光照、角度和背景下都能准确识别；

38、(3)提升模型的可解释性：通过集成grad-cam可视化技术，本发明增加了模型决策过程的透明度和可解释性，有助于更好地理解和优化模型；

39、(4)适应性强和灵活性高：本发明通过多种cnn架构的实验和比较，提供了灵活的模型选择，适应不同的计算能力和应用需求。

40、第二，本发明代表了养猪业自动化管理的一次重大进步。通过采用最新的计算机视觉和机器学习技术，本发明不仅提高了猪脸识别的准确性和效率，还显著提升了模型在不同环境条件下的稳定性和泛化能力。此外，本发明的非接触性质有助于提高动物福利，减少对动物的身体伤害。整体而言，这一创新技术为智能化养猪管理提供了有效的工具，有望极大提升养殖效率和经济效益，同时为相关领域的研究和应用提供了宝贵的技术支持和启示。

41、第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

42、(1)本发明的技术方案转化后的预期收益和商业价值为：

43、本发明的猪脸识别系统具有显著的商业价值和预期收益，尤其在提高养殖效率和管理水平方面表现突出。它通过精确的猪只个体识别技术，极大地提高了养猪场的管理效率，使得农场主能够进行更加精确的健康监控、饲料优化和繁殖管理，从而提升整体养殖效率和生产力。此外，这种自动化的识别方法减少了对人工检查的依赖，降低了劳动力成本，并显著减少了由于人为错误导致的问题，如误识别和管理失误。在疾病控制和预防方面，本系统的准确识别能力有助于及早发现疾病迹象，及时隔离病猪，有效防止疾病在群体中传播，从而减少疾病爆发的风险和相关的经济损失。同时，系统的应用还可以优化供应链管理，提高整个链条的透明度和可追溯性，增强消费者对产品的信任度，进而提升市场竞争力。此外，非侵入式的识别方法对动物更加友好，有助于提高动物福利水平，同时满足日益增长的动物福利和伦理要求。这种技术的应用不限于养猪业，还可以扩展到其他家畜的管理和监控，为公司提供新的市场机会和收入来源。最后，系统收集的大量数据可用于深入分析，提供数据驱动的决策支持，如优化饲料配方、繁殖策略和生长模式预测。

44、(2)本发明的技术方案填补了国内外业内技术空白：

45、本发明提出的猪脸识别系统代表了国内外畜牧业技术领域的一个重要突破，填补了地方品种猪面部识别中的技术空白。这一系统采用先进的深度学习技术和卷积神经网络(cnn)，结合独特的数据增强和度量学习方法，为猪只的精准识别和管理提供了一种创新解决方案。与传统的耳标识别或其他生物特征识别方法相比，本发明在几个关键方面展现了明显优势和创新性：

46、非侵入式识别技术：本系统使用的是基于图像的非侵入式识别技术，这对动物更为友好，减少了因耳标等物理标记带来的伤害和不适。

47、高精度和可靠性：利用深度学习模型和大规模的图像数据集，本系统能够实现极高的识别精度。通过持续的学习和优化，系统能够适应各种养殖环境和不同品种的猪。

48、强大的数据处理能力：本发明不仅能够处理复杂的图像数据，还能从中提取关键特征，用于精准识别，同时提供丰富的数据支持决策制定。

49、广泛的应用潜力：虽然本系统主要针对猪只识别，但其技术框架和方法可扩展至其他家畜和动物识别，具有广泛的应用前景。

50、第四，本发明提出的基于迁移学习的复杂环境下猪脸识别方法解决了以下背景技术中的现有技术问题和技术缺陷：

51、1)解决的技术问题：

52、数据集的多样性和全面性：现有技术中，面部识别数据集常局限于特定条件下的图像，缺乏多样性。本发明通过创建一个大型、多样化的数据集，包括不同照明条件和多角度拍摄的图像，有效提高了数据集的多样性和全面性。

53、数据质量和精确标注：现有技术的数据预处理不够精细，导致模型训练的不准确。本发明使用高级的数据预处理技术，如opencv，进行图像质量控制和精确标注，确保了数据质量和标注的精确性。

54、模型泛化能力：现有技术中的模型在复杂环境下表现不佳。本发明通过数据增强技术提高了模型的泛化能力，使其能够适应不同的环境条件。

55、深度学习模型的选择和优化：现有技术未能充分优化模型以适应特定任务。本发明选择和调整了多种cnn架构，并进行微调以适应猪脸识别的特定需求。

56、2)获得的技术效果和显著的技术进步：

57、提高了识别准确性：通过多样化的数据集和高级预处理技术，提高了模型的准确性。

58、增强了模型的适应性和泛化能力：通过数据增强和多模型结合的策略，使模型能够适应各种复杂环境。

59、提高了模型的可解释性：应用grad-cam算法进行模型可视化，增强了模型的决策透明性和可解释性。

60、本发明在复杂环境下猪面部识别方面实现了显著的技术进步，提高了识别的准确性和效率，同时也提高了模型的泛化能力和可解释性。