一种基于物理模型与数据分析的异源传感器坐标映射方法

本发明属于机器视觉，具体涉及一种基于物理模型与数据分析的异源传感器坐标映射方法。

背景技术：

1、随着近现代战场环境变得日益复杂，红外成像传感器与可见光成像传感器的协同远距探测需求也日益增长，常常包含复杂的环境和气候背景。但由于远距探测环境的复杂多变与恶劣的气象环境，独立红外传感器所探测的信息量可能无法满足识别检测目标的需求，需要可见光传感器加强获取目标信息。目前先进的探测系统主要采用可见光与红外异源传感器形成的光电设备进行协同探测，提升对目标信息的获取能力，同时发展异源传感器坐标映射关系标定技术。

2、目前关于异源传感器坐标映射关系并没有具体的解算方式，在实际使用异源传感器摄像机时主要是异源图像融合应用。由于实际测算时由于异源传感器成像原理不同，实际设备分辨率相差较大等原因，难以做到稳定的图像融合或信息增强等效果。当前已有机载、舰载、地基等光电探测设备固定时，异源传感器一般不进行目标坐标信息映射，较容易出现局部匹配困难、检测失败、跟踪丢失等问题。

技术实现思路

1、本发明的目的在于克服上述现有技术的缺点，提供一种基于物理模型与数据分析的异源传感器坐标映射方法，以解决现有技术中异源传感器易于出现局部匹配失败、检测失败或跟踪丢失的问题。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、一种基于物理模型与数据分析的异源传感器坐标映射方法，包括以下步骤：

4、步骤1，判断红外摄像机拍摄的红外图像和可见光摄像机拍摄的可见光图像之间的关系小于视场设定阈值；

5、步骤2，同一时刻拍摄的红外图像和可见光图像组成一组图像；

6、步骤3，在所有图像上手动标注出目标像素位置，获得数据集；

7、步骤4，通过数据集，获得在所述可见光摄像机焦距下，红外摄像机映射至可见光摄像机时的第一相关参数，进而获得目标像素从红外图像映射到可见光图像的坐标映射关系，所述第一相关参数为红外摄像机映射至可见光摄像机时的像素比例关系，以及红外摄像机与可见光摄像机主光轴的相对位置偏移量；

8、通过数据集，获得在所述红外摄像机焦距下，可见光映射至红外摄像机时的第二相关参数，进而获得目标像素从可见光图像映射至红外图像时的坐标映射关系，所述第二相关参数为可见光摄像机映射至红外摄像相机时的像素比例关系，以及可见光摄像机与红外摄像机的相对位置偏移量。

9、本发明的进一步改进在于：

10、优选的，步骤3中，数据集由多组数据组成，每四个坐标为一组，所述四个坐标由目标在红外图像中的像素坐标和目标在可见光图像中的像素坐标组成。

11、优选的，基于数据集，以目标像素在可见光图像中坐标为y轴，在红外图像中坐标为x轴，绘制关系图，获得第一相关参数。

12、优选的，基于数据集，以目标像素在红外图像中坐标为x轴，在可见光图像中坐标为y轴，绘制关系图，获得第二相关参数。

13、优选的，所述第一相关参数，随着可见光摄像机焦距的调整而改变。

14、优选的，所述第二相关参数，随着红外摄像机焦距的调整而改变。

15、优选的，步骤4，获得坐标映射关系前，设定目标为平行光入射。

16、优选的，步骤2中，红外摄像机和可见光摄像机的相对位置固定。

17、优选的，步骤1中，判断红外图像和可见光图像之间的关系为：判断目标在小视场传感器中的位置相对于目标在视物显大症视场传感器中心位置的偏移量是否小于视场设定阈值。

18、优选的，所述视场设定阈值为小视场摄像机短轴的30％。

19、与现有技术相比，本发明具有以下有益效果：

20、本发明公开了一种基于物理模型与数据分析的异源传感器坐标映射方法，针对在复杂环境下的光电设备远距探测低、慢、小目标，基于确定位置关系的异源传感器，构建出在异源传感器的目标成像坐标映射关系，在已有光电探测设备为异源传感器的情况下，增强了得到的已知目标信息，利用光电设备的光学结构物理模型，同时对实际拍摄数据进行整理分析计算，实现了可见光/红外异源传感器坐标映射关系标定方法。提高异源传感器获取目标信息的协同能力，降低后期图像融合、目标检测、跟踪等过程中的局部匹配难度等问题。进而使得在后续应用中，通过红外传感器得到的目标位置信息映射可见光传感器所对应的目标位置信息，也能够通过可见光传感器得到目标位置信息映射红外传感器所对应的目标位置关系，使得有一个图像不清楚的情况下，能够获得对应的另一个图像。即便传感器在复杂环境丢失了目标相关信息，也可以通过本发明继续从另一个传感器映射目标坐标信息，以供后续其他图像融合、目标检测、跟踪等方法能持续处理任务需求，提升了设备算法的稳定程度。

技术特征：

1.一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，步骤3中，数据集由多组数据组成，每四个坐标为一组，所述四个坐标由目标在红外图像中的像素坐标和目标在可见光图像中的像素坐标组成。

3.根据权利要求2所述的一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，基于数据集，以目标像素在可见光图像中坐标为y轴，在红外图像中坐标为x轴，绘制关系图，获得第一相关参数。

4.根据权利要求2所述的一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，基于数据集，以目标像素在红外图像中坐标为x轴，在可见光图像中坐标为y轴，绘制关系图，获得第二相关参数。

5.根据权利要求1所述的一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，所述第一相关参数，随着可见光摄像机焦距的调整而改变。

6.根据权利要求1所述的一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，所述第二相关参数，随着红外摄像机焦距的调整而改变。

7.根据权利要求1所述的一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，步骤4，获得坐标映射关系前，设定目标为平行光入射。

8.根据权利要求1所述的一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，步骤2中，红外摄像机和可见光摄像机的相对位置固定。

9.根据权利要求1所述的一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，步骤1中，判断红外图像和可见光图像之间的关系为：判断目标在小视场传感器中的位置相对于目标在大视场传感器中心位置的偏移量是否小于视场设定阈值。

10.根据权利要求9所述的一种基于物理模型与数据分析的异源传感器坐标映射方法，其特征在于，所述视场设定阈值为小视场摄像机短轴的30％。

技术总结
本发明公开了一种基于物理模型与数据分析的异源传感器坐标映射方法，针对在复杂环境下的光电设备远距探测低、慢、小目标，基于确定位置关系的异源传感器，构建出在异源传感器的目标成像坐标映射关系，在已有光电探测设备为异源传感器的情况下，增强了得到的已知目标信息，利用光电设备的光学结构物理模型，同时对实际拍摄数据进行整理分析计算，实现了可见光/红外异源传感器坐标映射关系标定方法。提高异源传感器获取目标信息的协同能力，降低后期图像融合、目标检测、跟踪等过程中的局部匹配难度等问题。

技术研发人员：李少毅,林健,杨曦,孟中杰
受保护的技术使用者：西北工业大学
技术研发日：
技术公布日：2024/3/21