一种空间目标行为监测方法与流程

本发明涉及目标监测，具体为一种空间目标行为监测方法。

背景技术：

1、随着我国航天事业的发展，对空间目标进行探测的需求越来越迫切。较大尺寸空间碎片的撞击会使航天器的轨道或姿态发生变化，甚至直接导致航天器解体，无论从保护空间环境、安全持续地开发和利用空间资源，还是从提高我国空间航天器在轨运行寿命，保障载人航天安全出发等方面，都需要加强对空间目标的探测和防护研究。

2、空间目标探测实现的基本途径主要有天基探测与地基探测，从测量形式上可以分为天基遥感监测、天基直接监测、航天器表面采样分析等3种主要手段，其中天基遥感监测属于主动式监测方式，而后两种则为被动式的空间目标监测，天基遥感监测设备包括光学望远镜、微波雷达、激光雷达、太赫兹雷达等，其监测平台包括卫星、飞船和空间站，天基直接监测是利用在空间航天器上搭载由一定材料构成的监测仪器，通过这些仪器记录空间目标及星际尘埃的撞击效果，从而收集空间目标信息的监测方法，航天器表面采样分析通过对已返回的长期暴露于空间环境中的航天器表面材料的分析来获取空间目标信息。航天器表面采样分析可直接立足于现有返回式航天器的后期研究以及在轨空间站的观察分析，不需额外增加研究费用，因而是一种经济实用的监测方式。

3、然而传统的太空空间目标行为监测方法在面对复杂的、高动态的目标行为时性能有限，尤其在面对太空中数量较多的对象进行监测时，传统方法通常采用线性卡尔曼滤波或扩展卡尔曼滤波，无法有效跟踪复杂目标的运动和行为，同时单一的数学模型描述目标行为，无法有效地捕捉不同目标的多样性行为，导致在监测不同类型的目标时性能不稳定，限制了系统的灵活性和适应性，因此亟需一种可针对高动态目标进行实时监测的更灵活的空间目标行为监测方法来解决此类问题。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种空间目标行为监测方法，解决现有技术中存在的面对复杂的、高动态的目标行为时性能有限，无法有效跟踪复杂目标的运动和行为，单一的数学模型描述目标行为，无法有效地捕捉不同目标的多样性行为的问题。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现，本发明提供了一种空间目标行为监测方法，包括：

5、步骤1.空间监测系统建模，定义监测系统的数学模型，包括目标的状态方程和观测方程，同时部署传感器雷达、卫星、相机用于收集目标观测数据；

6、步骤2.目标行为追踪，采用卡尔曼滤波算法来进行目标追踪，进行状态估计和协方差更新，采用稳健卡尔曼滤波变种，处理观测噪声和异常值；

7、步骤3.深度强化学习，加入深度强化学习代理，代理目的具体为：决定何时进行滤波器的状态来适应目标行为；

8、步骤4.确定模型目标行为潜在分布，采用贝叶斯非参数方法建模目标行为的潜在分布，采用非参数模型理解目标行为的特征，包括目标行为的分布和模式；

9、步骤5.行为追踪、强化学习以及潜在分布信息融合，采用贝叶斯决策理论将卡尔曼滤波的输出、深度强化学习代理的策略和贝叶斯非参数模型的信息进行融合，根据融合结果做出实时决策，包括监测目标行为、预测未来行为。

10、本发明进一步地设置为：所述空间监测系统建模步骤中，建立监测系统的数学模型，包括目标的状态方程和观测方程；

11、所述目标状态方程描述目标的动态行为，具体为：

12、，

13、其中就是下一时刻目标的位置，通过非线性状态演化函数、外部输入和过程噪声计算，

14、表示非线性状态演化函数，随目标的动态而变化，表示外部输入用于表示外部控制，表示过程噪声，用于模拟系统内部的不确定性和随机性；

15、本发明进一步地设置为：所述观测方程描述观测数据与目标状态之间关系，具体为：

16、,

17、其中表示观测向量，包含时间节点t上所观测的多个观测数据，数据包括位置、速度、方向，表示t时刻的目标状态，则表示非线性观测函数，用于将目标状态映射到观测数据，表示t时刻的观测噪声；

18、其中非线性观测函数表示为：

19、，

20、其中表示将目标位置x(t)和时间(t)映射到观测数据；

21、本发明进一步地设置为：所述空间监测系统建模步骤中，空间监测系统建模部署的多个传感器包括雷达、卫星和相机，用于实时收集目标的观测数据，传感器提供观测向量，中观测值包括目标的位置、速度、方向；

22、本发明进一步地设置为：所述目标行为追踪步骤中，目标追踪方式具体为：

23、卡尔曼滤波通过状态方程进行状态估计，状态方程中，通过状态方程预测目标状态x(t+1)：

24、，

25、通过状态方程和协方差传递方程预测协方差p(t+1)：

26、，

27、使用观测数据更新状态估计；

28、首先计算卡尔曼增益k(t+1)：

29、，

30、然后更新状态估计x(t+1)：

31、，

32、再对协方差p(t+1)进行更新：

33、，

34、状态估计中，表示在t+1时刻的目标x的状态估计，f表示状态转移矩阵，b为控制输入矩阵，u(t)是外部输入，w(t)表示过程噪声，p(t+1)即协方差矩阵，表示在t+1时刻状态估计的不确定性，h为观测矩阵，将状态映射到观测空间，r表示观测噪声的协方差矩阵，z(t+1)为t+1时刻的观测数据；

35、本发明进一步地设置为：所述深度强化学习代理具体包括：

36、建立状态空间、行动空间和奖励函数；

37、状态包括滤波器的状态、目标状态估计的不确定性；

38、基于深度q网络dqn训练代理优化滤波策略；

39、本发明进一步地设置为：所述深度强化学习步骤中，建立状态空间、行动空间和奖励函数方式具体为：

40、设状态空间为s，其中每个状态用一个向量来表示，状态包括目标状态估计的不确定性、观测数据、时间信息；

41、设行动空间为a，a包括代理采取的行动，包括切换不同的滤波器状态、调整滤波参数；

42、设奖励函数为r(s,a,s')，表示在特定状态s下采取行动a并转移到状态s'时代理获得的奖励，具体为：

43、，

44、其中、、分别为m、n、l对应的权重，m表示目标可见性奖励，n表示信息获取奖励，l表示能源消耗惩罚；

45、本发明进一步地设置为：所述深度强化学习步骤中，状态空间s包括滤波器的状态f和目标状态估计的不确定性u，表示为：

46、，滤波器状态f包括滤波器的类型、时间常数，以及实际控制状态，目标状态估计的不确定性u包括协方差矩阵度量的目标状态估计不确定性；

47、采用dqn训练代理，根据状态空间s选择最佳的滤波器状态f；

48、通过值函数q(s,a)评估每个状态-行动的价值，其中a表示行动空间；

49、训练dqn的步骤包括：

50、a.定义神经网络结构，输入为状态空间s，输出是每个可能行动的估计价值；

51、b.初始化dqn模型参数；

52、c.收集经验数据，让代理与环境互动，随机选择行动或依据当前策略选择行动；

53、d.使用经验回放训练dqn模型，通过最小化均方误差更新值函数；

54、本发明还提供一种终端设备，该设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的空间目标行为监测方法的控制程序，所述空间目标行为监测方法的控制程序被所述处理器执行时实现上述空间目标行为监测方法；

55、本发明还提供一种存储介质，该介质应用于计算机，所述存储介质上存储有空间目标行为监测方法的控制程序，所述空间目标行为监测方法的控制程序被所述处理器执行时实现上述空间目标行为监测方法。

56、（三）有益效果

57、本发明提供了一种空间目标行为监测方法。具备以下有益效果：

58、本技术所提供的空间目标行为监测方法，通过非线性状态演化函数、外部输入和过程噪声精确预测目标的状态，观测方程描述观测数据与目标状态之间的关系，使用非线性观测函数将目标状态映射到观测数据，同时加入观测噪声的影响，多个传感器，包括雷达、卫星和相机的部署用于实时收集目标的观测数据，所收集数据包括位置、速度和方向信息。

59、在步骤2中，采用卡尔曼滤波算法进行目标追踪，进行状态估计和协方差更新，卡尔曼滤波通过状态方程进行状态估计，并使用观测数据更新状态估计，实现目标追踪，稳健卡尔曼滤波变种用于处理观测噪声和异常值，确保目标状态估计的稳健性。

60、步骤3中采用深度强化学习代理，决定何时进行滤波器状态的调整，从而适应目标行为的不断变化，代理建立了状态空间、行动空间和奖励函数，其中状态空间包括滤波器的状态和目标状态估计的不确定性，深度q网络（dqn）用于训练代理，根据值函数评估每个状态-行动对的价值，通过学习代理能够调整滤波器状态，从而实现优化目标行为的监测策略。

61、步骤4中采用贝叶斯非参数方法建模目标行为的潜在分布，狄利克雷过程混合模型dpmm用于对目标行为的潜在分布进行建模，便于在不预先确定混合分布的数量的情况下对目标行为进行建模，更好地适应不同的行为模式。

62、最终，将输出信息融合起来，使用贝叶斯决策理论做出实时决策，监测目标行为是否符合预期以及预测未来行为，通过将卡尔曼滤波的输出、深度强化学习代理的策略和贝叶斯非参数模型的信息进行融合，能够提供更准确的目标行为估计和更有针对性的实时决策。

63、解决了现有技术中存在的面对复杂的、高动态的目标行为时性能有限，无法有效跟踪复杂目标的运动和行为，单一的数学模型描述目标行为，无法有效地捕捉不同目标的多样性行为的问题。