图像处理方法、装置、计算机设备和图像处理系统与流程

本申请涉及医学图像，特别是涉及一种图像处理方法、装置、计算机设备、图像处理系统和存储介质。

背景技术：

1、强化学习通过观察和交互环境来学习最优的行动策略，它的决策主体被命名为智能体。随着强化学习技术的发展，出现了基于大规模语料库训练的自然语言处理模型，该模型具有良好的对话能力，它通过用户实时回复作为奖励，从而更新自身的模型参数，以提高自身模型生成的对话效果和质量。

2、基于人工实时反馈的强化学习在自然语言处理模型中已经得到了广泛应用，但类似的研究在图像处理领域仍处于起步阶段，人工实时反馈难以表征于图像处理领域。目前的图像处理方式或者传统方法，存在交互性差的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高交互性的图像处理方法、装置、计算机设备、图像处理系统和计算机可读存储介质。

2、第一方面，本申请提供了一种图像处理方法，方法包括：

3、获取针对扫描图像的目标眼动数据；

4、采用训练后的强化学习模型处理目标眼动数据，得到强化学习模型的动作；强化学习模型的当前状态为基于扫描图像确定；强化学习模型的当前奖励为基于目标眼动数据确定；

5、基于强化学习模型的动作，得到针对扫描图像的图像处理结果。

6、在其中一个实施例中，获取针对扫描图像的目标眼动数据，包括：

7、获取针对屏幕的初始眼动数据；屏幕用于显示扫描图像；

8、处理初始眼动数据，得到目标眼动数据；目标眼动数据包括眼动特征图。

9、在其中一个实施例中，处理初始眼动数据，得到目标眼动数据包括：

10、采用训练好的视线追踪模型处理初始眼动数据，得到目标眼动数据；

11、方法还包括：

12、基于眼动特征图和扫描图像，得到视线追踪模型的热点图；热点图用于表征针对扫描图像的注视点位置；

13、根据热点图，确定强化学习模型的当前奖励。

14、在其中一个实施例中，根据热点图，确定强化学习模型的当前奖励，包括：

15、基于强化学习模型当前的模型参数，得到目标特征图；

16、确定热点图和目标特征图之间的相似度；

17、基于相似度，确定出强化学习模型的当前奖励。

18、在其中一个实施例中，方法还包括：

19、根据强化学习模型的下一状态以及强化学习模型的下一奖励，对当前的模型参数进行更新，得到更新后的强化学习模型；模型参数包括基于深度学习网络确定的策略函数中各神经元的权重；更新后的强化学习模型用于下一次的图像处理。

20、在其中一个实施例中，训练后的强化学习模型，采用如下方式训练得到：

21、在强化学习模型的t轮训练中，针对强化学习模型的第t动作，获取视线追踪模型针对第t扫描图像的第t眼动特征图；

22、基于第t扫描图像确定强化学习模型的第t状态；

23、根据第t眼动特征图确定强化学习模型的第t奖励；

24、基于第t状态和第t奖励，输出强化学习模型的第t+1动作；t为正整数。

25、第二方面，本申请提供了一种图像处理装置，装置包括：

26、眼动数据获取模块，用于获取针对扫描图像的目标眼动数据；

27、动作输出模块，用于采用训练后的强化学习模型处理目标眼动数据，得到强化学习模型的动作；强化学习模型的当前状态为基于扫描图像确定；强化学习模型的当前奖励为基于目标眼动数据确定；

28、图像处理模块，用于基于强化学习模型的动作，得到针对扫描图像的图像处理结果。

29、第三方面，本申请提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。

30、第四方面，本申请提供了一种图像处理系统，系统包括医学扫描设备、眼动追踪设备和处理模块；医学扫描设备用于获取扫描图像；眼动追踪设备用于获取针对扫描图像的目标眼动数据；处理模块分别连接医学扫描设备和眼动追踪设备，处理模块实现上述方法。

31、第五方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。

32、上述图像处理方法、装置、计算机设备、图像处理系统和计算机可读存储介质，方法通过获取针对用于显示扫描图像的扫描图像的目标眼动数据，可以对用户视线进行实时视觉追踪，可视化用户的决策过程；采用训练后的强化学习模型处理目标眼动数据，强化学习模型能够基于用户的眼动数据进行相关的预测，得到强化学习模型的动作；强化学习模型的当前状态为基于扫描图像确定；强化学习模型的当前奖励为基于目标眼动数据确定；可以实现将用户视线的变化反馈至强化学习模型中，强化学习模型可以与用户进行强交互，并且可实时更新自身参数以实现模型的优化；基于强化学习模型的动作，得到针对扫描图像的图像处理结果，能够实现图像分类或图像分割，辅助用户分析扫描图像，提高工作效率与准确度。

技术特征：

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取针对扫描图像的目标眼动数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述处理所述初始眼动数据，得到所述目标眼动数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述热点图，确定所述强化学习模型的所述当前奖励，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，训练后的所述强化学习模型，采用如下方式训练得到：

7.一种图像处理装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种图像处理系统，其特征在于，所述系统包括医学扫描设备、眼动追踪设备和处理模块；所述医学扫描设备用于获取扫描图像；所述眼动追踪设备用于获取针对所述扫描图像的目标眼动数据；所述处理模块分别连接所述医学扫描设备和所述眼动追踪设备，所述处理模块实现权利要求1至6中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种图像处理方法、装置、计算机设备和图像处理系统。所述方法包括：获取针对扫描图像的目标眼动数据；采用训练后的强化学习模型处理目标眼动数据，得到强化学习模型的动作；强化学习模型的当前状态为基于扫描图像确定；强化学习模型的当前奖励为基于目标眼动数据确定；可以实现将用户视线的变化反馈至强化学习模型中，强化学习模型可以与用户进行强交互，提高图像处理过程中的交互性，并且可实时更新自身参数以实现模型的优化；基于强化学习模型的动作，得到针对扫描图像的图像处理结果，能够实现图像分类或图像分割，辅助用户分析扫描图像，提高工作效率与准确度。

技术研发人员：张梦泽,钱真
受保护的技术使用者：北京联影智能影像技术研究院
技术研发日：
技术公布日：2024/3/21