基于毫米波雷达的水面目标动静分割方法及装置与流程

本发明涉及无人船领域中的环境感知，尤其是指一种基于毫米波雷达的水面目标动静分割方法及装置。

背景技术：

1、随着无人船技术的普及和应用，在水面无人驾驶中的碰撞检测、自主避障等功能中，目标动静语义分割是其中一项关键感知技术。过去几年里，目标的动静语义分割主要基于激光雷达、摄像头感知传感器实现，并获得了较好的性能。但这类光学传感器容易受到环境的影响，在雨雪，大雾天气下，感知性能下降严重，且激光雷达成本昂贵。而毫米波雷达价格低廉，是一款全天候、全天时的传感器。在之前的研究中，主要通过毫米波雷达对目标探测的多普勒速度，结合无人船里程计信息进行目标的动静语义识别。但由于水面点云杂波及探测误差的影响，这类基于多普勒速度的点云动静分割方法在水面环境中基本无法使用。而近两年中，一些学者提出了基于场景流的毫米波雷达点云动静分割方法，但在水面环境中，其性能仍然较低。因此，在水面环境中实现一套低成本、强环境鲁棒的目标动静分割系统，仍存在较大困难。

技术实现思路

1、本发明所要解决的技术问题是：提供一种基于毫米波雷达的水面目标动静分割方法及装置，旨在无其他额外传感器的条件下，对毫米波雷达点云进行动静语义分割，完成水面目标动静语义感知，实现了一套用于水面目标动静感知的低成本装置。

2、为了解决上述技术问题，本发明采用的技术方案为：一种基于毫米波雷达的水面目标动静分割方法，包括：

3、通过无人船上的毫米波雷达连续采集周围环境的毫米波雷达点云和无人船自身速度数据，将所有采集到的数据构造成数据集，并对数据集中的毫米波雷达点云进行动静语义标注；

4、利用间隔a帧的两帧点云搭建速率估计交叉自注意力网络m1；

5、将后一帧毫米波雷达点云对应的速度作为真值，利用动静语义真值构建多普勒损失函数ldoppler，并与均方损失函数lmse构造损失函数，对速率估计交叉自注意力网络m1进行训练；

6、利用速率估计交叉自注意力网络m1对已有数据进行速度估计，得到数据集中每包数据对应的自身速度vp，并做毫米波雷达点云径向速度补偿；

7、利用间隔a帧的补偿后的毫米波雷达点云搭建动静分割交叉自注意力网络m2；

8、构建动静语义损失函数lseg，对动静分割交叉自注意力网络m2进行训练；

9、在无人船实时执行任务时，实时采集环境的毫米波雷达点云，利用训练好的模型m1与模型m2获得当前时刻水面环境中毫米波雷达点云的动静语义。

10、进一步的，所述通过无人船上的毫米波雷达连续采集周围环境的毫米波雷达点云和无人船自身速度数据，将所有采集到的数据构造成数据集，并对数据集中的毫米波雷达点云进行动静语义标注具体包括，

11、通过无人船上的传感器采集毫米波雷达点云、定位数据、imu数据及图像数据，并标记时间戳，其中定位数据包含无人船所处的位置c＝(xr,yr)，xr,yr为无人船所处北东坐标系的北东坐标，东为x轴，北为y轴，imu数据包含无人船方向角数据d，此方向朝北为0度，顺时针方向为正；

12、将不同传感器数据利用对应时间戳进行数据同步，将同步后的数据分别打包，形成序列数据s＝{(pi,ci,di,ii)|i＞0,i∈n*}，其中pi为每包数据对应的毫米波雷达点云，此毫米波雷达点云坐标系为以无人船自身位置作为中心建立的坐标系，前方为y轴，右方为x轴，上方为z轴，ii为每包数据对应的图像；

13、利用每一时刻无人船的位置c与方向d对相应的毫米波雷达点云进行空间补偿，得到每一帧毫米波雷达点云在北东坐标系下对应的位置；

14、利用前后帧数据的变化及对应的图像数据，找出其中的动目标点云，并进行标注，得到每帧毫米波雷达点云的动静语义标签s；

15、利用前后帧数据的位置c及对应的时间戳计算无人船在每包数据时的速度vgt，此速度方向在后续步骤中默认为无人船朝向，整合形成序列数据s′＝{(pi,ci,di,ii,si,vi)|i＞0,i∈n*}。

16、进一步的，所述利用间隔a帧的两帧点云搭建速率估计交叉自注意力网络具体包括，

17、分别在序列数据s′取一帧毫米波雷达点云pi＝{(xi,yi,zi,vi)|i≤ni}和其对应前a帧的毫米波雷达点云pi-a作为网络输入数据，其中xi,yi,zi分别为每个点在自身坐标系中x轴，y轴，z轴的坐标，vi为每个点相对于无人船的相对径向速度，ni为对应包毫米波雷达点云的点数量；

18、分别针对毫米波雷达点云pi与pi-a进行点云重采样，得到数据p′i与p′i-a通过采样固定为n的点数，保持每次输入到模型中的毫米波雷达点云数量相同；

19、利用point-transfomer结构分别针对毫米波雷达点云p′i与p′i-a进行特征提取，分别得到特征fi与fi-a；

20、将特征fi与fi-a传递入points-crossformer结构中，得到两帧毫米波雷达点云形成的时序空间特征f；

21、利用时序特征f经过一个多层感知机网络，输出最终的预测速度vp，完成速率估计交叉自注意力网络m1搭建。

22、进一步的，所述将后一帧毫米波雷达点云对应的速度作为真值，利用动静语义真值构建多普勒损失函数ldoppler，并与均方损失函数lmse构造损失函数，对速率估计交叉自注意力网络m1进行训练具体包括，

23、利用动静语义真值从毫米波雷达点云pi中筛选出其中的静目标点云ps，点数共有ns个点；

24、将静目标点云ps中所有点的径向速度vi投影到无人船正前方方向，得到投影速度

25、每个静目标点云的投影速度等于速率估计交叉自注意力网络m1的预测速度vp在各点的径向速度分量，由此构建多普勒损失函数ldoppler；

26、利用速率估计交叉自注意力网络m1的预测速度vp与真值速度vgt构建均方误差损失函数lmse，其中m为所有数据包的数量；

27、利用多普勒损失函数ldoppler与均方误差损失函数lmse构造速率估计交叉自注意力网络m1训练时的损失函数lv；

28、利用损失函数lv与adam优化对速率估计交叉自注意力网络m1进行训练。

29、进一步的，所述利用速率估计交叉自注意力网络m1对已有数据进行速度估计，得到数据集中每包数据对应的自身速度vp，并做毫米波雷达点云径向速度补偿具体包括，

30、针对数据序列s′中的数据利用网络m1进行自身速度估计，形成序列数据s″＝{(pi,ci,di,ii,si,vi,vip)|i＞0,i∈n*}；

31、对序列数据s″中的毫米波雷达点云pi进行多普勒速度补偿，得到对应的毫米波雷达点云pi″，形成序列数据s″′＝{(pi″,ci,di,ii,si,vi,vip)|i＞0,i∈n*}。

32、进一步的，所述对序列数据s″中的毫米波雷达点云pi进行多普勒速度补偿，得到对应的毫米波雷达点云p″i具体包括，

33、取一包点云p，将p中的多普勒速度vi补偿到水平平面坐标系中，得到速度v″i；

34、利用当前包的预测速度计算在p中每个点方向上的投影速度vcompen；

35、计算每个点的补偿速度v′i；

36、利用补偿后的速度构造毫米波雷达点云集p″＝{(xi,yi,zi,vi′)|i≤n},其中n为当前包点云的数量。

37、进一步的，所述利用间隔a帧的补偿后的毫米波雷达点云搭建动静分割交叉自注意力网络m2具体包括，

38、分别在序列数据s″取一帧毫米波雷达点云pi″＝{(xi,yi,zi,vi′)|i≤ni}和其对应前a帧的毫米波雷达点云p″i-a的点云作为网络输入数据；

39、将point-transformer中的knn采样修改为ball query采样方式，在一个稳定的目标感受野内，进行目标自注意力计算，形成radar-transformer结构；

40、利用radar-transfomer结构分别针对毫米波雷达点云数据p″i与p″i-a进行特征提取，分别得到每个点的特征fi与fi-a；

41、将每个点的特征fi与fi-a传递入到points-crossformer结构中，得到两帧毫米波雷达点云形成的时序空间特征f；

42、将时序空间特征f与每个点的空间特征进行通道连接，得到深浅层特征f；

43、利用radar-transformer对深浅层特征f进行特征融合，得到每个点的动静语义特征；

44、将每个点的动静语义特征经过一个多层感知机网络，输出每个点的动静语义信息，完成动静分割交叉自注意力网络m2的搭建。

45、进一步的，所述构建动静语义损失函数lseg，对动静分割交叉自注意力网络m2进行训练具体包括，

46、逐点计算每个点的动静语义类别与真值形成的交叉熵损失函数lcross；

47、利用预测为静语义的毫米波雷达点云的径向速度构建静语义损失函数lstatic，其中静目标点云数量为m′；

48、利用交叉熵损失函数lcross与静语义损失函数lstatic构造速率估计交叉自注意力网络m1训练时的损失函数lseg；

49、利用损失函数lseg与adam优化对动静分割交叉自注意力网络m2进行训练。

50、进一步的，所述在无人船实时执行任务时，实时采集环境的毫米波雷达点云，利用训练好的模型m1与模型m2获得当前时刻水面环境中毫米波雷达点云的动静语义具体包括，

51、将当前帧的毫米波雷达点云与前a帧的毫米波雷达点云分别进行重采样，得到固定数量n的毫米波雷达点云，并输入到模型m1中，得到无人船当前时刻速度v；

52、利用当前时刻速度v对当前帧的毫米波雷达点云进行径向速度补偿，获得速度补偿的点云，并对前a帧的毫米波雷达点云执行相同步骤；

53、将补偿后的毫米波雷达点云及补偿后的前a帧的毫米波雷达点云输入模型m2中获得当前时刻水面环境中毫米波雷达点云的动静语义。

54、本发明还提供一种基于毫米波雷达的水面目标动静分割装置，包括：

55、数据采集模块，用于通过无人船上的毫米波雷达连续采集周围环境的毫米波雷达点云和无人船自身速度数据，将所有采集到的数据构造成数据集，并对数据集中的毫米波雷达点云进行动静语义标注；

56、第一网络搭建模块，用于利用间隔a帧的两帧点云搭建速率估计交叉自注意力网络m1；

57、第一网络训练模块，用于将后一帧毫米波雷达点云对应的速度作为真值，利用动静语义真值构建多普勒损失函数ldoppler，并与均方损失函数lmse构造损失函数，对速率估计交叉自注意力网络m1进行训练；

58、径向速度补偿模块，用于利用速率估计交叉自注意力网络m1对已有数据进行速度估计，得到数据集中每包数据对应的自身速度vp，并做毫米波雷达点云径向速度补偿；

59、第二网络搭建模块，用于利用间隔a帧的补偿后的毫米波雷达点云搭建动静分割交叉自注意力网络m2；

60、第二网络训练模块，用于构建动静语义损失函数lseg，对动静分割交叉自注意力网络m2进行训练；

61、动静分割模块，用于在无人船实时执行任务时，实时采集环境的毫米波雷达点云，利用训练好的模型m1与模型m2获得当前时刻水面环境中毫米波雷达点云的动静语义。

62、本发明的有益效果在于：在无其他额外传感器的条件下，对毫米波雷达点云进行动静语义分割，完成水面目标的动静语义感知，以此实现了一套用于水面目标动静感知的低成本装置。