一种基于线结构激光的深度相机系统及三维场景重建方法

本发明属于3d检测与测量，具体涉及一种基于线结构激光的深度相机系统及三维场景重建方法。

背景技术：

1、经过几十年的发展，基于传统相机输出的二维数字图像(以下简称图像)的机器视觉技术和应用领域已经比较成熟和完善。传统的图像仅包含目标场景二维光强分布信息，但随着时代的进步和技术的发展，单纯的二维图像已经不能满足ar/vr、实时定位与地图重建、自动驾驶、工业自动化制造、工业流水线检测、自主机器人、三维重建、逆向工程、新式人机交互方式等领域的需求。机器视觉领域需要提供在不接触目标场景表面的情况下(非接触式)直接提供或者间接计算出目标场景的三维结构信息的解决方案。

2、深度图像不仅能够提供传统图像所能提供的所有信息，还能额外提供目标场景与相机的相对距离信息，深度图像的出现能够很好的满足机器视觉的各个应用领域对目标场景三维结构信息的需求。而可以直接提供深度图像或者可以通过软件间接计算出深度图像的软硬件配套的系统被称作深度相机。

3、双目立体视觉技术通过视差原理可以恢复目标场景的三维结构，具有结构简单、不容易受到光照干扰等优势，使得双目立体视觉技术有较大的研究价值；但由于双目立体视觉技术存在受目标场景的表面纹理、光照条件的影响较大、视差图的获取需要很复杂的计算等缺陷，导致双目立体视觉技术迟迟无法广泛应用。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于线结构激光的深度相机系统及三维场景重建方法。

2、本发明的第一个目的是提供一种基于线结构激光的深度相机系统，包括目标场景捕获模块、标记模块、相机标定模块、处理模块、三维重建模块和上位机；

3、所述目标场景捕获模块包含两个相机，用于控制和配置图像传感元件的参数，接收到上位机发出的信号后捕获目标场景的图像，并向上位机传输数字图像数据；

4、所述标记模块用于向目标场景反射线结构激光，实现对反射的线结构激光的角度估计，并对合适捕获场景的时间区间进行计算；

5、所述相机标定模块用于对目标场景捕获模块的相机进行标定，构建准确的双视图几何模型；

6、所述处理模块用于在标记模块计算得到的合适捕获场景的时间区间内启动目标场景捕获模块，并对目标场景捕获模块中的两相机捕获到的包含条带状图样标识的不同视点的图像进行处理并计算出视差，最后根据双视图几何模型以及单目标定过程中计算出的焦距、主点位置参数恢复场景标识附近的三维结构数据，并发送到三维重建模块；

7、所述三维重建模块用于调整目标场景捕获模块中捕获的条带状标识的图像在场景中的位置，并重复累计处理模块得到的三维结构数据，然后计算得到三维结构信息，实现对场景的扫描重建；

8、所述上位机，用于向目标场景捕获模块发出捕获目标场景图像的信号，并用于接收目标场景捕获模块传输的数字图像数据。

9、优选的，所述标记模块包含激光器、无刷电机、反光镜片、霍尔元件和控制器；

10、所述激光器用于发射线结构激光；

11、所述无刷电机用于搭载反光镜片并带动反光镜片旋转；

12、所述反光镜片用于向目标场景反射激光器发射的线结构激光；

13、所述霍尔元件用于记录无刷电机经过某一特定位置的时间，实现对反射的线结构激光的角度估计，并将获得的脉冲信号发送至控制器中；

14、所述控制器用于对霍尔元件发出的脉冲信号进行滤波，并计算触发周期。

15、优选的，所述控制器为fpga，控制器包含硬件滤波器，硬件滤波器用于对霍尔元件发出的脉冲信号进行滤波。

16、本发明的第二个目的是提供一种基于上述线结构激光的深度相机系统的三维场景重建方法，其特征在于，包括以下步骤：

17、s1、利用线结构激光主动对目标场景进行周期性的扫描，线结构激光照射在目标场景表面产生明亮的条纹；

18、s2、利用两个视点不同的相机对步骤s1中的目标场景上产生的明亮的条纹进行捕获，得到含有条带状图样标识的两个不同视点的图像；

19、s3、分别对步骤s2得到的两个不同视点的图像上的条带状图样进行提取，得到两个条带状图样的中线；

20、s4、然后根据步骤s3得到的两个条带状图样的中线计算视差，得到视差图；

21、s5、根据双视图几何模型对步骤s4得到的视差图进行三维重构，恢复得到目标场景标识附近的三维结构数据；

22、s6、通过控制每帧间隔调整条带状图样出现在目标场景中的位置，逐次扫描累积步骤s5得到的三维结构数据，直至得到整个目标场景的三维结构数据，最终实现目标场景三维结构的重建。

23、优选的，步骤s3的条带状图样的中线提取通过以下方法得到：

24、s31、在条带状图样的中心点领域设置权重掩模，计算得到条带状图样边缘强度分布的信息；

25、s32、根据步骤s31得到的条带状图样边缘强度分布的信息，在固定宽度的窗口进行滤波，以每个像素作为窗口中心对相机捕获到的图像进行处理，得到离散的向量场；

26、s33、将步骤s32得到的向量场中每个离散点处的向量根据其模长进行排序，并筛选出序列前n向量对应的离散点构成集合h；

27、s34、根据步骤s33得到的集合h中的任意一点hi、hk在向量场中与其对应的向量pi和pk计算出权重均一化比例因子；

28、s35、对步骤s34得到的集合h中向量夹角为π的两个点构成的点对连线的中点坐标进行计算然后根据中点坐标和步骤s33得到的权重均一化比例因子，计算得到集合h的中点，即得到条带状图样的中线。

29、优选的，步骤s34中，所述权重均一化比例因子的计算公式如下：

30、

31、式中，pi和pk分别为hi和hk在向量场中对应的向量。

32、优选的，步骤s35中，所述集合h的中点的计算公式如下：

33、

34、式中，hi和hk为集合h中向量夹角为π的两个点，usf为重均一化比例因子，pi和pk分别为hi和hk在向量场中对应的向量。

35、本发明与现有技术相比，其有益效果在于：

36、本发明提供的基于线结构激光的深度相机系统，通过将结构光与双目立体视觉技术相结合，解决了传统双目立体视觉方案的固有缺陷，且通过理论分析和测试，验证了本发明系统确实提高了传统双目立体视觉方案的视差精度、降低了软件算法的复杂度，因此具有较高的研究价值。

技术特征：

1.一种基于线结构激光的深度相机系统，其特征在于，包括目标场景捕获模块、标记模块、相机标定模块、处理模块、三维重建模块和上位机；

2.如权利要求1所述的基于线结构激光的深度相机系统，其特征在于，所述标记模块包含激光器、无刷电机、反光镜片、霍尔元件和控制器；

3.如权利要求2所述的基于线结构激光的深度相机系统，其特征在于，所述控制器为fpga，控制器包含硬件滤波器，硬件滤波器用于对霍尔元件发出的脉冲信号进行滤波。

4.一种如权利要求1-3任一项所述的基于线结构激光的深度相机系统的三维场景重建方法，其特征在于，包括以下步骤：

5.如权利要求4所述的三维场景重建方法，其特征在于，步骤s3的条带状图样的中线提取通过以下方法得到：

6.如权利要求5所述的三维场景重建方法，其特征在于，步骤s34中，所述权重均一化比例因子的计算公式如下：

7.如权利要求5所述的三维场景重建方法，其特征在于，步骤s35中，所述集合h的中点的计算公式如下：

技术总结
本发明公开了一种基于线结构激光的深度相机系统，包括目标场景捕获模块、标记模块、相机标定模块、处理模块、三维重建模块和上位机；目标场景捕获模块用于控制和配置图像传感元件的参数，捕获目标场景的图像，并向上位机传输数字图像数据；标记模块用于向目标场景反射线结构激光，实现对反射的线结构激光的角度估计，并对合适捕获场景的时间区间进行计算；相机标定模块用于对目标场景捕获模块的相机进行标定，构建准确的双视图几何模型；处理模块启动目标场景捕获模块，并对捕获到图像进行处理并计算出视差，恢复场景标识附近的三维结构数据。本发明解决了传统双目立体视觉方案的视差精度低、软件算法的复杂度较高的技术问题。

技术研发人员：邢高峰,田丰,韩静,董梁,宁晓菊
受保护的技术使用者：西安邮电大学
技术研发日：
技术公布日：2024/3/27