颞下颌关节盘移位初筛分类方法、模型训练方法及装置

本发明涉及医学图像数据处理领域，尤其涉及一种基于多视点人脸图像的颞下颌关节盘移位初筛分类方法、初筛分类模型的训练方法、初筛分类装置、初筛分类装置的训练装置、电子设备及计算机可读存储介质。

背景技术：

1、颞下颌关节(temporomandibular joint，简称为tmj)是由上方的颞骨关节窝及关节结节、下方的下颌骨髁突、位于两者之间的关节盘、及外侧包绕的关节囊和囊内外侧韧带等部分所构成。颞下颌关节是人体中承担咀嚼和吞咽活动、言语和表情功能的重要关节，当发生病变后，会影响面部外观轮廓，改变面部外观特征，同时干扰面部正常生理活动，影响患者的正常生活，使患者承受着巨大的痛苦与烦恼。

2、颞下颌关节盘移位(disc displacement，简称为dd)是一种发病年龄早、发病率高、对患者外形和功能、生理和心理危害大的临床常见病，目前已报道的病发率为18％～35％，其临床表现有杂音、骨摩擦音、疼痛、张口困难等。颞下颌关节盘移位是慢性、持续性进展疾病，随着病情的进展会导致关节髁突软骨损伤、破坏、髁突吸收，进而引起面部畸形。

3、早期颞下颌关节盘移位的症状很轻微或者没有明显症状，此时通过非手术治疗或简单的关节盘复位手术即可实现很好的疗效，该治疗不仅创伤小、费用较低，而且效果理想。当发展至颞下颌关节盘移位终末期，这时由于关节髁突破坏吸收严重，失去改建能力，需要进行关节重建手术，因此治疗创伤大、恢复时间长，并且费用高。不过，由于早期颞下颌关节盘移位症状很轻微或者没有明显症状，患者往往忽视病情，直至疾病进展至终末期，发生了严重的自觉症状(例如，如骨关节炎的严重疼痛、重度张口困难等)后才来就诊。同时，不同于心脏病、高血压等为人所熟知的疾病，大家对于颞下颌关节盘移位病症缺乏了解，即使已经有了较为严重的颞下颌关节盘移位问题，也往往由于各种客观不便因素，未能及时到医院就诊治疗。

4、目前，颞下颌关节最常用的检查方法是磁共振成像(magnetic resonanceimaging，简称为mri)。mri可清晰地显示关节盘、关节囊等软组织结构和相对位置关系，是颞下颌关节盘移位诊断的金标准。此外，也可通过计算机断层扫描成像(computedtomography，简称为ct)，利用不同的窗宽和窗位，显示软硬组织，但该方法不能清楚显示颞下颌关节的重要软组织结构，而且放射剂量较大，对受检查者伤害较大。mri和ct都属于大型医疗设备，受检者必须到指定的医疗场所进行检查，同时由于医学诊断涉及人的生命安全问题，需要专业严谨的诊断，要求医生具备大量的临床诊断经验，因此会耗费较长的诊断时间。

5、因此，如何实现对颞下颌关节盘移位进行便捷、低成本的初筛分类，使得病情被尽早筛查且患者得以及时救治，为患者减轻病痛与精神压力，同时节约经济花费，并使医疗资源得到合理的分配，是现在亟需解决的问题。

技术实现思路

1、有鉴于现有技术的上述缺陷或不足，本发明在于公开一种基于多视点人脸图像的颞下颌关节盘移位初筛分类方法、初筛分类模型的训练方法、初筛分类装置、初筛分类模型的训练装置、电子设备及计算机可读存储介质，用于实现低成本、快捷的颞下颌关节盘移位初筛分类，分类结果可以帮助颞下颌关节盘移位潜在患者低成本实现该疾病的早发现、早就医，降低颞下颌关节盘移位初筛工作占用mri、ct等医疗设备。

2、为实现上述目的，本发明公开一种基于多视点人脸图像的颞下颌关节盘移位初筛分类方法，包括：

3、获取多个视点的待识别人脸图像；

4、对多个视点的待识别人脸图像进行图像预处理，得到规范化且对齐的人脸图像；

5、基于颞下颌关节盘移位初筛分类模型，以所述规范化且对齐的人脸图像作为输入，得到与所述待识别人脸图像相关的颞下颌关节盘移位初筛分类结果，其中，所述颞下颌关节盘移位初筛分类模型是根据标注的颞下颌关节盘移位人脸图像训练样本集进行训练得到的；

6、其中，所述颞下颌关节盘移位初筛分类模型是通过如下训练方式得到的：

7、获取各例人脸图像，每一例人脸图像包括多个视点的人脸图像；获取与所述各例人脸图像关联的医学影像诊断报告，根据所述医学影像诊断报告对所述各例人脸图像进行颞下颌关节盘移位症状标注；根据标注后的各例人脸图像建立颞下颌关节盘移位人脸图像训练样本集；基于所述标注的颞下颌关节盘移位人脸图像训练样本集进行训练，得到基于多视点人脸图像的颞下颌关节盘移位初筛分类模型。

8、本发明公开的颞下颌关节盘移位的初筛分类方法，基于颞下颌关节盘移位疾病对人脸面部特征变化的影响，通过获得多视点人脸图像，将经图像预处理得到的规范化且对齐的多视点人脸图像输入至颞下颌关节盘移位初筛分类模型，得到与所述待识别人脸图像相关的是否存在颞下颌关节盘移位症状的初筛分类结果。经验证，基于颞下颌关节盘移位初筛分类模型的初筛分类方法具有很高的识别准确率。且随着人脸图像训练样本的不断扩充(例如，人脸图像训练样本数量增加、补入有质量的已标注的人脸图像训练样本)，进行训练，使得颞下颌关节盘移位初筛分类模型得到迭代更新，进一步提升识别的准确性。本发明公开的颞下颌关节盘移位的初筛分类方法可应于用社区、学校、工厂等，能对普通大众快速且便捷地实现颞下颌关节盘移位疾病的初筛，便于颞下颌关节盘移位疾病的早发现、早诊断、早治疗，避免患者后续更大的身心损伤，节约医疗资源。

9、在本发明的较佳实施方式中，所述获取多个视点的待识别人脸图像包括：采集三个视点的彩色人脸图像，包括一张左侧45°人脸图像、一张正面人脸图像、一张右侧45°人脸图像。

10、在本发明的较佳实施方式中，所述对多个视点的待识别人脸图像进行图像预处理，得到规范化且对齐的人脸图像，包括：对三个视点的人脸图像分别进行人脸关键点检测；所述三个视点的人脸图像按顺序设置；基于以人脸关键点中鼻根点-下巴点的间距规范化至预设像素，对人脸图像进行分辨率重采样；每个重采样后的人脸图像包括rgb三个颜色分量通道；以人脸关键点中鼻尖点为基准对三个视点的人脸图像进行图像对齐并进行图像裁剪，得到鼻尖点对齐且图像大小固定的人脸图像；其中，三个视点的人脸图像共包括九个颜色分量通道。

11、在本发明的较佳实施方式中，所述以人脸关键点中鼻根点-下巴点的间距规范化包括将人脸关键点中鼻根点-下巴点的间距规范化为250像素；经图像裁剪后的所述人脸图像的图像大小为512*512像素。

12、本发明公开一种基于多视点人脸图像的颞下颌关节盘移位初筛分类模型的训练方法，包括：获取各例人脸图像，每一例人脸图像包括多个视点的人脸图像；获取与所述各例人脸图像关联的医学影像诊断报告，根据所述医学影像诊断报告对所述各例人脸图像进行颞下颌关节盘移位症状标注；根据标注后的各例人脸图像建立颞下颌关节盘移位人脸图像训练样本集；基于所述标注的颞下颌关节盘移位人脸图像训练样本集进行训练，得到基于多视点人脸图像的颞下颌关节盘移位初筛分类模型。

13、在本发明的较佳实施方式中，所述获取与所述各例人脸图像关联的医学影像诊断报告，根据所述医学影像诊断报告对所述各例人脸图像进行颞下颌关节盘移位症状标注，包括：获取与所述各例人脸图像关联的医学影像诊断报告，从医学影像诊断报告中提取与颞下颌关节盘移位症状相关的关键词，其中，所述医学影像诊断报告中包括与颞下颌关节盘移位症状相关的诊断描述信息；根据提取出的关键词，对所述各例人脸图像进行颞下颌关节盘移位症状标注；其中，所述颞下颌关节盘移位症状的标注信息是与所要训练的颞下颌关节盘移位初筛分类模型中颞下颌关节盘移位症状的分类设置相关联的。

14、在本发明的较佳实施方式中，所述颞下颌关节盘移位初筛分类模型中颞下颌关节盘移位症状的分类设置包括颞下颌关节盘移位和正常的二分类设置，或者，包括单侧颞下颌关节盘移位、双侧颞下颌关节盘移位、以及正常的三分类设置。

15、本发明公开一种基于多视点人脸图像的颞下颌关节盘移位初筛分类装置，包括：

16、图像采集模块，用于获取多个视点的待识别人脸图像；

17、图像预处理模块，对多个视点的待识别人脸图像进行图像预处理，得到规范化且对齐的人脸图像；

18、颞下颌关节盘移位识别模块，用于基于颞下颌关节盘移位初筛分类模型，以所述规范化且对齐的人脸图像作为输入，得到与所述待识别人脸图像相关的颞下颌关节盘移位初筛分类结果，其中，所述颞下颌关节盘移位初筛分类模型是根据标注的颞下颌关节盘移位人脸图像训练样本集进行训练得到的；

19、其中，所述颞下颌关节盘移位初筛分类模型是通过如下训练方式得到的：

20、获取各例人脸图像，每一例人脸图像包括多个视点的人脸图像；获取与所述各例人脸图像关联的医学影像诊断报告，根据所述医学影像诊断报告对所述各例人脸图像进行颞下颌关节盘移位症状标注；根据标注后的各例人脸图像建立颞下颌关节盘移位人脸图像训练样本集；基于所述标注的颞下颌关节盘移位人脸图像训练样本集进行训练，得到基于多视点人脸图像的颞下颌关节盘移位初筛分类模型。

21、本发明公开一种基于多视点人脸图像的颞下颌关节盘移位初筛分类模型的训练装置，包括：图像获取模块，用于获取各例人脸图像，每一例人脸图像包括多个视点的人脸图像；标注模块，用于获取与所述各例人脸图像关联的医学影像诊断报告，根据所述医学影像诊断报告对所述各例人脸图像进行颞下颌关节盘移位症状标注；训练模块，用于根据标注后的各例人脸图像建立颞下颌关节盘移位人脸图像训练样本集，基于所述标注的颞下颌关节盘移位人脸图像训练样本集进行训练，得到基于多视点人脸图像的颞下颌关节盘移位初筛分类模型。

22、本发明还公开一种电子设备，包括：存储器，用于存储至少一个计算机程序；处理器，与所述存储器相连，用于执行所述至少一个计算机程序以实现基于多视点人脸图像的颞下颌关节盘移位的初筛分类方法或基于多视点人脸图像的颞下颌关节盘移位初筛分类模型的训练方法。

23、本发明还公开一种计算机可读存储介质，存储有至少一个计算机程序，所述计算机程序被处理器执行时实现基于多视点人脸图像的颞下颌关节盘移位的初筛分类方法或基于多视点人脸图像的颞下颌关节盘移位初筛分类模型的训练方法。

24、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。