一种相似度计算模型训练方法、装置、设备及存储介质与流程

本发明涉及人工智能对话检索，特别涉及一种相似度计算模型训练方法、装置、设备及存储介质。

背景技术：

1、检索式问答系统一般是基于检索知识库中一系列问答对（qa，questionanswering）的，也被成为基于知识库的问答系统。具体流程为：（1）首先事先将常见的问题和对应的答案以qa对的形式存储到知识库中；（2）然后将用户问题的表示与知识库中已有问题的表示进行相似度匹配，将最高相似度问题对应的答案输出。检索式问答系统中要解决的难点是拉近相似问题的表示，拉远不同问题的表示，常见做法为使用对比学习方法得到问题的向量表示。已有的对比学习技术只利用了两个正样本，没有充分利用到多正样本；对于困难样本（区分度不高的样本）并没有重点关注，使得困难样本的正负样本之间的区分度低。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种相似度计算模型训练方法、装置、设备和存储介质，能够提升正负样本之间的区分度以及模型的表征能力，增强检索问答效果。其具体方案如下：

2、第一方面，本发明公开了一种相似度计算模型训练方法，包括：

3、获取原始样本数据集合，并基于预设批次数据数量从所述原始样本数据集合中确定目标批次训练样本数据；

4、将所述目标批次训练样本数据输入大语言模型，以得到增广正样本簇；

5、基于所述增广正样本簇执行预设转置相乘操作，以得到块对角矩阵，并对所述块对角矩阵中的目标相似度进行掩码处理，得到边侧对角矩阵；

6、对所述边侧对角矩阵执行预设样本重组操作，以得到重组后矩阵，并利用所述重组后矩阵以及预设损失函数对原始相似度计算模型进行训练，当训练结果满足当前需求时得到目标相似度计算模型。

7、可选的，所述获取原始样本数据集合，并基于预设批次数据数量从所述原始样本数据集合中确定目标批次训练样本数据，包括：

8、获取原始样本数据集合，并确定所述原始样本数据集合中的原始样本数据数量；

9、判断是否为初次确定所述目标批次训练样本数据；

10、若是初次确定所述目标批次训练样本数据，则将所述原始样本数据集合中任意一个原始样本数据确定为第一目标训练样本数据；

11、将所述原始样本数据集合中不包含所述第一目标训练样本数据的剩余全部样本数据确定为待选择样本数据集合；

12、将所述预设批次数据数量减1，以得到待获取样本数据数量；

13、基于所述待获取样本数据数量从所述待选择样本数据集合中获取第二目标训练样本数据；

14、将所述第一目标训练样本数据以及全部所述第二目标训练样本数据确定为所述目标批次训练样本数据。

15、可选的，所述将所述目标批次训练样本数据输入大语言模型，以得到增广正样本簇，包括：

16、确定预设样本增广数量；

17、依次将所述目标批次训练样本数据中的每个训练样本数据输入大语言模型，基于所述预设样本增广数量确定所述训练样本数据对应的增广正样本；

18、将全部所述增广正样本以及所述目标批次训练样本数据确定为所述增广正样本簇，并确定所述大语言模型输出的维度的数量。

19、可选的，所述对所述块对角矩阵中的目标相似度进行掩码处理，得到边侧对角矩阵，包括：

20、将每个所述训练样本数据以及对应的所述增广正样本确定为当前正样本；

21、基于所述当前正样本从所述块对角矩阵中确定对应的正样本相似度矩阵数据块；

22、将每个所述正样本相似度矩阵数据块中的第一相似度数据与第二相似度数据掩码处理为预设负数，以得到所述边侧对角矩阵；其中，所述第一相似度数据为所述正样本相似度矩阵数据块中每个所述当前正样本与自身相乘得到的相似度矩阵数据，所述第二相似度数据为所述正样本相似度矩阵数据块中不包含所述训练样本数据的相似度矩阵数据。

23、可选的，所述对所述边侧对角矩阵执行预设样本重组操作，以得到重组后矩阵，包括：

24、依次将所述边侧对角矩阵中的每一行确定为目标行，并确定所述目标行对应的行正样本；

25、判断所述目标行中是否只存在一个与所述行正样本对应的正样本矩阵数据；

26、若所述目标行中只存在一个与所述行正样本对应的所述正样本矩阵数据，则不拆分所述目标行；

27、若所述目标行中存在数量大于一个的与所述行正样本对应的所述正样本矩阵数据，则确定当前正样本矩阵数据的数量，并基于所述当前正样本矩阵数据的数量确定待拆分行数；

28、基于所述待拆分行数拆分所述目标行，以便拆分后行中只存在一个所述正样本矩阵数据，得到所述重组后矩阵。

29、可选的，所述利用所述重组后矩阵以及预设损失函数对原始相似度计算模型进行训练，当训练结果满足当前需求时得到目标相似度计算模型，包括：

30、将所述重组后矩阵中的每一行确定为训练行；

31、基于所述训练行对应的所述训练样本数据、所述正样本矩阵数据、负样本数量、预设超参温度系数以及预设损失函数进行计算，以得到损失值；

32、基于全部所述损失值获取损失值均值，将所述损失值均值确定为训练结果，并判断所述训练结果是否收敛；

33、若所述训练结果收敛，则判定所述训练结果满足当前需求，以得到所述目标相似度计算模型。

34、可选的，所述基于所述增广正样本簇执行预设转置相乘操作，以得到块对角矩阵，包括：

35、基于所述增广正样本簇中的数据确定第一矩阵，并对所述第一矩阵执行转置操作，以得到第二矩阵；

36、将所述第一矩阵与所述第二矩阵相乘，以得到所述块对角矩阵。

37、第二方面，本发明公开了一种相似度计算模型训练装置，包括：

38、目标批次训练样本数据确定模块，用于获取原始样本数据集合，并基于预设批次数据数量从所述原始样本数据集合中确定目标批次训练样本数据；

39、增广正样本簇获取模块，用于将所述目标批次训练样本数据输入大语言模型，以得到增广正样本簇；

40、块对角矩阵生成模块，用于基于所述增广正样本簇执行预设转置相乘操作，以得到块对角矩阵；

41、边侧对角矩阵获取模块，用于对所述块对角矩阵中的目标相似度进行掩码处理，得到边侧对角矩阵；

42、样本重组模块，用于对所述边侧对角矩阵执行预设样本重组操作，以得到重组后矩阵；

43、模型训练模块，用于利用所述重组后矩阵以及预设损失函数对原始相似度计算模型进行训练，当训练结果满足当前需求时得到目标相似度计算模型。

44、第三方面，本发明公开了一种电子设备，包括：

45、存储器，用于保存计算机程序；

46、处理器，用于执行所述计算机程序，以实现如前述公开的相似度计算模型训练方法的步骤。

47、第四方面，本发明公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如前述公开的相似度计算模型训练方法。

48、可见，本发明提供了一种相似度计算模型训练方法，包括：获取原始样本数据集合，并基于预设批次数据数量从所述原始样本数据集合中确定目标批次训练样本数据；将所述目标批次训练样本数据输入大语言模型，以得到增广正样本簇；基于所述增广正样本簇执行预设转置相乘操作，以得到块对角矩阵，并对所述块对角矩阵中的目标相似度进行掩码处理，得到边侧对角矩阵；对所述边侧对角矩阵执行预设样本重组操作，以得到重组后矩阵，并利用所述重组后矩阵以及预设损失函数对原始相似度计算模型进行训练，当训练结果满足当前需求时得到目标相似度计算模型。由此可见，本发明使用大模型生成增广正样本簇提高训练样本数量，通过递增困难样本挖掘数据组成方式，增强模型表征能力以及模型对困难样本的挖掘能力，基于增广正样本生成边侧块对角矩阵的对比学习方法使得模型充分学习正样本之间的相似特征，提升正负样本之间的区分度以及模型的表征能力，增强检索问答效果。