图像美学评估方法、装置、电子设备及存储介质

本技术涉及计算机视觉和人工智能技术，尤其涉及一种图像美学评估方法、装置、电子设备及存储介质。

背景技术：

1、随着计算机视觉和人工智能领域的迅速发展，图像美学评估（image aestheticsassessment，简称iaa）作为图像处理和计算机图形学中的重要任务，逐渐引起了研究者们的广泛关注。iaa的目标是模拟人类的审美感知，通过算法来预测图像的美感和质量。这对于广告、媒体、设计等领域的应用具有重要意义，可以自动化地评估和提升图像质量，从而提供更好的用户体验。

2、传统的iaa方法主要基于人工设计的特征和浅层模型，如颜色直方图、纹理特征和边缘检测等。然而，这些方法往往受到特征的有限表达能力和模型的复杂程度限制，难以捕捉复杂的图像美学属性。近年来，深度学习技术的兴起为iaa领域带来了新的可能性。卷积神经网络（cnn）和transformer等深度学习模型在图像识别和处理任务中取得了显著的成果，为iaa的发展提供了新的思路。

3、然而，现有的深度学习模型在处理图像的细节、色彩、构图等美学属性方面仍存在一些挑战，导致无法准确预测图像的美感和质量。例如，在人类的审美感知中，图像的构图、颜色搭配和细节处理等因素都会影响图像的美感，但是现有模型难以准确捕捉这些属性。另外，现有模型在处理不同主题、风格和场景的图像时，往往表现出一定的泛化能力不足。

技术实现思路

1、本技术提供一种图像美学评估方法、装置、电子设备及存储介质，用以解决相关技术中的深度学习模型无法准确预测图像的美感和质量的问题，实现准确预测图像的美感和质量的技术效果。

2、一方面，本技术提供一种图像美学评估方法，所述方法包括：

3、获取目标图像对应的图像特征张量；

4、分别从所述图像特征张量中提取全局特征和局部特征，其中，所述全局特征用于反映所述目标图像的整体信息，所述局部特征用于反映所述目标图像中不同区域的细节信息；

5、根据所述全局特征确定所述目标图像中多个兴趣点各自的横纵坐标信息，以及根据所述局部特征生成多个所述兴趣点各自在横纵坐标上的偏移量；

6、根据多个所述兴趣点各自在横纵坐标上的偏移量和多个所述兴趣点各自的横纵坐标信息，生成所述目标图像对应的特征图；

7、根据所述目标图像对应的特征图对所述目标图像进行美学评估处理，得到图像美学评估结果。

8、一种可选的实施方式，分别从所述图像特征张量中提取全局特征和局部特征，包括：

9、采用增强的美学导向模型中的兴趣点生成模块，从所述图像特征张量中提取所述全局特征，以及

10、采用增强的美学导向模型中的偏移动量生成模块，从所述图像特征张量中提取所述局部特征。

11、一种可选的实施方式，采用增强的美学导向模型中的兴趣点生成模块，从所述图像特征张量中提取所述全局特征，包括：采用所述兴趣点生成模块中的卷积层，将所述图像特征张量映射到兴趣点集合，以得到所述全局特征；

12、根据所述全局特征确定所述目标图像中多个兴趣点各自的横纵坐标信息，包括：采用所述兴趣点生成模块中的卷积层，根据所述全局特征确定所述目标图像在横纵坐标上的多个兴趣点，以及多个所述兴趣点各自的横坐标值和纵坐标值；采用双曲正切函数对多个所述兴趣点各自的横坐标值和纵坐标值进行归一化处理，得到多个所述兴趣点各自的横纵坐标信息。

13、一种可选的实施方式，采用增强的美学导向模型中的偏移动量生成模块，从所述图像特征张量中提取所述局部特征，包括：采用所述偏移动量生成模块中的卷积层，从所述图像特征张量中提取所述局部特征；

14、根据所述局部特征生成多个所述兴趣点各自在横纵坐标上的偏移量，包括：采用所述偏移动量生成模块中的卷积层，根据所述局部特征生成多个所述兴趣点各自在横纵坐标上的初始偏移量，以及多个所述初始偏移量的横坐标值和纵坐标值；采用双曲正切函数对多个所述初始偏移量的横坐标值和纵坐标值分别进行归一化处理，以得到多个所述兴趣点各自在横纵坐标上的偏移量。

15、一种可选的实施方式，所述方法还包括：

16、在训练初期随机旋转偏移方向来调整每个所述偏移量的方向，以最终得到多个所述兴趣点各自在横纵坐标上的偏移量。

17、一种可选的实施方式，在根据多个所述兴趣点各自在横纵坐标上的偏移量和多个所述兴趣点各自的横纵坐标信息，生成所述目标图像对应的特征图之前，所述方法还包括：

18、按照横坐标值和纵坐标值，将多个所述兴趣点、每个所述兴趣点各自在横纵坐标上的偏移量分到四个象限；

19、判断每个所述兴趣点与该兴趣点对应的偏移量是否属于同一象限；

20、根据判断结果，采用不同的权重调整每个所述兴趣点的偏移量施加到该兴趣点的横纵坐标上的强度，其中，所述权重用于控制每个兴趣点对应所述偏移量对该兴趣点的影响程度，每个所述兴趣点与该兴趣点对应的偏移量属于同一象限时，则对应的所述权重为1，每个所述兴趣点与该兴趣点对应的偏移量属于同一象限时，则对应的所述权重为一个超参数η，0< η<1。

21、一种可选的实施方式，根据多个所述兴趣点各自在横纵坐标上的偏移量和多个所述兴趣点各自的横纵坐标信息，生成所述目标图像对应的特征图，包括：

22、采用增强的美学导向模型中的偏移动量引导模块，将多个所述兴趣点各自在横纵坐标上的偏移量，分别对应施加到多个所述兴趣点各自的横纵坐标上，以得到多个调整后的兴趣点；

23、根据多个所述调整后的兴趣点和所述图像特征张量，生成所述目标图像对应的特征图。

24、一种可选的实施方式，根据所述目标图像对应的特征图对所述目标图像进行美学评估处理，得到图像美学评估结果，包括：

25、采用增强的美学导向模型中的多头注意力网络模块，根据所述目标图像对应的特征图对所述目标图像进行美学评估处理，得到所述图像美学评估结果。

26、另一方面，本技术提供一种图像美学评估装置，所述装置包括：

27、获取模块，用于获取目标图像对应的图像特征张量；

28、提取模块，用于分别从所述图像特征张量中提取全局特征和局部特征，其中，所述全局特征用于反映所述目标图像的整体信息，所述局部特征用于反映所述目标图像中不同区域的细节信息；

29、确定模块，用于根据所述全局特征确定所述目标图像中多个兴趣点各自的横纵坐标信息，以及根据所述局部特征生成多个所述兴趣点各自在横纵坐标上的偏移量；

30、生成模块，用于根据多个所述兴趣点各自在横纵坐标上的偏移量和多个所述兴趣点各自的横纵坐标信息，生成所述目标图像对应的特征图；

31、评估模块，用于根据所述目标图像对应的特征图对所述目标图像进行美学评估处理，得到图像美学评估结果。

32、另一方面，本技术提供一种电子设备，包括：处理器，以及与上述处理器连接的存储器；上述存储器存储计算机执行指令；上述处理器执行上述存储器存储的计算机执行指令，以实现如任一项上述的方法。

33、另一方面，本技术提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机执行指令，上述计算机执行指令被处理器执行时用于实现如任一项上述的方法。

34、另一方面，本技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现任一项上述的方法。

35、本技术提供的一种图像美学评估方法、装置、电子设备及存储介质，通过获取目标图像对应的图像特征张量；分别从图像特征张量中提取全局特征和局部特征，该全局特征用于反映目标图像的整体信息，该局部特征用于反映目标图像中不同区域的细节信息；根据全局特征确定目标图像中多个兴趣点各自的横纵坐标信息，以及根据局部特征生成多个兴趣点各自在横纵坐标上的偏移量；根据多个兴趣点各自在横纵坐标上的偏移量和多个兴趣点各自的横纵坐标信息，生成目标图像对应的特征图；根据目标图像对应的特征图对目标图像进行美学评估处理，得到图像美学评估结果。可以解决相关技术中的深度学习模型无法准确预测图像的美感和质量的问题，实现准确预测图像的美感和质量的技术效果。