基于虚拟现实和进化强化学习的纺织流程管理方法及系统与流程

本技术涉及虚拟现实，特别涉及一种基于虚拟现实（vr）和进化强化学习的纺织流程管理方法及系统。

背景技术：

1、当前纺织行业面临的主要挑战包括生产流程的复杂性、设备与工艺的多样性以及对行业需求变化的快速响应。传统的纺织管理系统通常只支持简单的数据收集和处理，无法提供高度互动和沉浸式的培训体验，这限制了在操作员培训、生产线优化等方面的进展。此外，现有的纺织生产管理系统往往缺乏灵活性，难以适应生产技术的更新。

技术实现思路

1、为了解决上述问题，本技术提供了一种基于vr和进化强化学习的纺织流程管理方法及系统，能够精准模拟、优化和管理纺织生产流程，提供高度逼真的虚拟纺织流程进行人员培训，提高生产效率减少资源浪费，为纺织业生产管理提供有力技术支撑。

2、第一方面，本技术提供了一种基于vr和进化强化学习的纺织流程管理系统，该系统包括：vr纺织模拟模块、数据处理模块和esrl优化引擎模块；

3、所述vr纺织模拟模块用于：通过3d建模和物理引擎创建虚拟纺织环境，通过vr设备显示虚拟纺织操作画面，并实时模拟用户执行的纺织流程操作，获取所述vr设备的实时交互数据；

4、所述数据处理模块用于：收集来自所述vr纺织模拟模块的实时交互数据和历史纺织流程数据；采用神经网络模型提取所述虚拟纺织环境的状态特征信息，所述状态特征信息至少包括时序特征；

5、所述esrl优化引擎模块用于：使用基于进化策略和特征的强化学习算法，将所述虚拟纺织环境中的纺织流程调度问题转化为马尔科夫决策过程，将所述状态特征信息作为所述马尔科夫决策过程的输入状态，构建纺织流程的强化学习（rl）模型；

6、所述esrl优化引擎模块还用于：通过所述rl模型的状态转移概率函数，模拟实时执行的纺织流程操作带来的状态变化，并通过所述rl模型的奖励函数评估所述纺织流程操作的价值，决策出最优动作；基于决策得到的所述最优动作，实时更新纺织流程调度计划，所述纺织流程调度计划至少包括：纺织流程中各个环节所执行的纺织流程操作以及纺织工艺参数。

7、在一种可能实施方式中，所述vr纺织模拟模块包括：3d织物模拟单元和vr交互设备；

8、所述3d织物模拟单元用于：通过3d建模和物理引擎模拟织物的物理行为，创建三维虚拟纺织环境，用于描述所述物理行为的参数至少包括：纹织参数和运动参数；

9、所述vr交互设备用于：基于所述三维虚拟纺织环境，通过vr显示设备显示虚拟纺织操作画面，并通过和所述vr显示设备相连接的控制器获取用户操作参数，模拟纺织流程操作以及织物在纺织流程操作下的物理变化；

10、其中，所述织物的物理行为通过质量-弹簧模型进行模拟，所述质量-弹簧模型表示为：

11、；

12、其中，是施加在织物上的力，是弹簧系数，和分别是织物的当前位置和平衡位置，是阻尼系数，是织物的速度；施加在织物上的力通过所述控制器实时获取。

13、在一种可能实施方式中，所述vr纺织模拟模块还包括：实时渲染单元，所述实时渲染单元用于：

14、基于给定的光源环境参数和织物纹理函数，将三维的虚拟纺织环境实时渲染为所述虚拟现实显示设备中呈现的二维纺织操作画面，实时渲染过程表示为：

15、；

16、其中，代表像素点的最终颜色，为光源亮度，为织物纹理函数，为光的波长，为光的波长的索引，表示遍历种波长的光进行求和。

17、在一种可能实施方式中，所述实时交互数据包括纺织机器操作参数，所述历史纺织流程数据包括：生产质量数据、能耗数据、生产效率数据、环境条件数据中至少一项；

18、所述数据处理模块用于：采用卷积神经网络（cnn）和长短时记忆网络（lstm），对来自所述实时交互数据和历史纺织流程数据进行时序特征提取；

19、所述cnn的时序特征提取过程用公式表示为：

20、；

21、其中，表示输入cnn的时间序列数据，和分别为cnn的卷积核参数和偏置项，代表卷积操作，是cnn的激活函数；

22、所述lstm的时序特征提取过程用公式表示为：

23、；

24、其中，是在时间的隐藏状态，是在时间时的输入数据，和是lstm的权重矩阵，是偏置项，是lstm的激活函数。

25、在一种可能实施方式中，所述esrl优化引擎模块用于：

26、针对纺织流程中任一存在空闲机器的工艺环节，若包括多个候选纺织流程操作，则通过所述rl模型的状态转移概率函数，分别模拟实时执行各个候选纺织流程操作带来的状态变化，并通过所述rl模型的奖励函数评估所述多个候选纺织流程操作的价值，从中决策出最优动作作为下一步要执行的操作；若仅包括一个候选纺织流程操作，则直接将所述一个候选纺织流程操作确定为下一步要执行的操作；

27、所述状态转移概率函数被定义为：

28、；

29、其中，表示状态转移概率矩阵，是当前状态，是下一个状态，表示动作；表示rl模型在t时刻的状态，表示rl模型在下执行后，在t+1时刻的状态；

30、所述奖励函数被定义为：

31、；

32、其中，是预设的奖励折扣因子，表示所述虚拟纺织环境中操作调度或rl模型决策导致的状态转移指标，表示的次幂，是rl模型在t时刻的动作，是rl模型在t时刻决策引起的关键状态转移指标，是rl模型在t+1时刻决策引起的关键状态转移指标，表示对应的奖励函数值，表示时刻下执行的动作，表示执行动作前rl模型的状态；表示执行动作后rl模型的状态；

33、在任一次决策时，若两个关键状态转移指标之间的动作为空，则状态转移将被忽略，奖励函数表示为：

34、。

35、在一种可能实施方式中，所述esrl优化引擎模块用于：

36、采用基于特征的强化学习算法，直接与所建立的所述虚拟纺织环境进行交互，采用特征提取函数，从所述状态特征信息中提取出操作特征，作为所述rl模型的输入状态；所述特征提取函数构建的操作特征表示为：；是操作的特征表示，是特征提取函数。

37、在一种可能实施方式中，所述esrl优化引擎模块还用于：

38、基于多层感知器mlp计算各个操作特征的得分，根据各个操作特征的得分，更新针对所述纺织流程的人员操作培训计划；

39、所述得分的计算过程表示为：

40、

41、

42、

43、

44、；

45、其中 ，是操作的得分，对于mlp，和分别是第层的权重和偏置，是用于增加非线性的激活函数，是第-1层的计算结果。

46、在一种可能实施方式中，所述esrl优化引擎模块用于：

47、使用进化策略在所述rl模型的模型参数空间内探索并优化所述rl模型的决策策略，所述优化过程包括：对rl模型的模型参数进行梯度估计，根据估计得到的梯度进行模型参数更新；梯度估计过程表示为：

48、

49、参数更新过程表示为：

50、

51、其中，表示梯度估计结果，是生成的新参数的组数，是噪声标准差，是随机噪声，是t时刻的模型参数，代表适应度函数；和是更新前后的模型参数，是预设的学习率，所述适应度函数用于评估所述纺织流程的rl模型在给定虚拟纺织环境下的性能表现，所述性能表现的考量因素包括：纺织成品质量和纺织出品效率。

52、在一种可能实施方式中，所述适应度函数被定义为：

53、

54、其中，是当前操作调度下的预计完工时间，是预设的最优完工时间，是纺织流程的总处理时间，是预设的缩放因子。

55、第二方面，提供一种基于vr和进化强化学习的纺织流程管理方法，该方法包括：

56、通过3d建模和物理引擎创建虚拟纺织环境，通过vr设备显示虚拟纺织操作画面，并实时模拟用户执行的纺织流程操作，获取所述vr设备的实时交互数据；

57、收集所述实时交互数据和历史纺织流程数据；采用神经网络模型提取所述虚拟纺织环境的状态特征信息，所述状态特征信息至少包括时序特征；

58、使用基于进化策略和特征的强化学习算法，将所述虚拟纺织环境中的纺织流程调度问题转化为马尔科夫决策过程，将所述状态特征信息作为所述马尔科夫决策过程的输入状态，构建纺织流程的rl模型；

59、通过所述rl模型的状态转移概率函数，模拟实时执行的纺织流程操作带来的状态变化，并通过所述rl模型的奖励函数评估所述纺织流程操作的价值，决策出最优动作；基于决策得到的所述最优动作，实时更新纺织流程调度计划，所述纺织流程调度计划至少包括：纺织流程中各个环节所执行的纺织流程操作以及纺织工艺参数。

60、在一种可能实施方式中，该方法还包括如第一方面所提供的基于vr和进化强化学习的纺织流程管理系统中各个模块所执行的对应步骤。

61、第三方面，提供一种计算设备，该计算设备包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由处理器执行以实现如第二方面提供的基于vr和进化强化学习的纺织流程管理方法。

62、第四方面，提供一种计算机可读存储介质，该存储介质中存储有至少一段程序，至少一段程序由处理器执行以实现如第二方面提供的基于vr和进化强化学习的纺织流程管理方法。

63、本技术提供的技术方案至少包括如下技术效果：

64、本技术提供了一种结合虚拟现实技术和基于进化策略和特征的强化学习算法的纺织全流程管理系统。致力于模拟、优化和管理纺织生产的各个流程，从原材料处理到最终产品的生产。系统利用vr技术提供高度逼真的纺织流程模拟，有效增强用户的交互体验和操作效率。同时，结合esrl方法，实现对生产流程的智能化优化和自动化管理，使其能够自适应地优化生产操作和提高管理效率。不仅在纺织工艺方面可实现智能化和精准化的数字管理，还能够在工业生产管理和员工培训方面，显著提升管理效率与培训质量。