基于时间关系感知的时序知识图谱补全方法与流程

本发明涉及深度学习和知识图谱，尤其涉及一种基于时间关系感知的时序知识图谱补全方法。

背景技术：

1、时序知识图谱是指在知识图谱的基础上，引入时间信息，描述实体之间在不同时间点上的关系和演化过程的一种扩展形式。它可以用于描述实体之间的历史和未来的关系，反映实体之间的演化过程和动态变化，具有广泛的应用价值。时序知识图谱知识表示是指将时序知识图谱中的实体、关系和时间信息转化为低维嵌入向量，以便于计算机进行处理和应用的过程。

2、当前的知识表示方法往往仅利用知识的可信度评分函数进行训练，却忽略了时间信息天然具备的时间关系，这有可能导致依赖于这些知识表示方法的下游模型发生一些常识性错误，如“之前”和“之后”等时间关系的错判。如何利用时间信息天然具备的时间关系，优化出更具备时间关系判别性的知识嵌入特征表示，是一个有研究价值和应用价值的问题。

3、近年来，研究者们构建了各种各样的大规模的知识图谱。虽然它们已经在多个领域取得了显著的成绩，但是在实际应用中，知识覆盖率不足一直是一个令人头疼的问题。那么，如何在已有知识中通过学习得到新的知识，从而对知识图谱进行补全，成为了一种有效手段。并且，在学习的过程中，知识图谱补全检验了模型的推理能力。在时序知识图谱在进行补全工作对于时序知识图谱的研究和利用具有非常重要的实践意义。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了基于时间关系感知的时序知识图谱补全方法。所述方法能够实现将时序知识图谱中的实体、关系和时间信息转化为低维嵌入向量，以便于计算机进行处理，相比现有方法，本方法创新性提出了时间关系感知模块，能够建模出更具时间判别性的时间嵌入特征表示。

2、本发明的目的是通过如下技术方案实现的，基于时间关系感知的时序知识图谱补全方法，所述方法包括：

3、步骤1，初始化实体嵌入特征、关系嵌入特征和时间嵌入特征；

4、步骤2，构建时间四元组可信度评分函数，计算时间四元组可信度损失函数；

5、步骤3，构建时间关系感知模块，计算时间关系感知损失函数；

6、步骤4，对时间四元组可信度损失函数和时间关系感知损失函数计算联合损失函数，采用联合损失函数来优化实体的嵌入特征表示、关系的嵌入特征表示和时间的嵌入特征表示；

7、步骤5，设计规则获得目标实体和候选实体；

8、步骤6，根据优化后的实体的嵌入特征表示、关系的嵌入特征表示和时间的嵌入特征表示，计算候选实体的与目标实体的时间四元组可信度评分函数，根据候选实体的与目标实体的时间四元组可信度评分函数补全图谱。

9、具体地，所述的初始化实体嵌入特征、关系嵌入特征和时间嵌入特征，包括以下步骤：

10、步骤101，将实体嵌入特征建模为d维复数，并使用标准正态分布对实体嵌入特征进行初始化；具体而言，对于每个实体，使用一个2×d维向量来表示嵌入特征，其中，前d维表示实部，后d维表示虚部，即：

11、；

12、其中，和分别表示第i个实体的实部和虚部，表示d维复数空间，有n个实体，则实体嵌入特征矩阵的大小为n×2d，表达式为：；

13、使用标准正态分布对进行初始化，表达式为：；

14、其中，表示实体嵌入特征矩阵中第i个实体的第j个嵌入特征；

15、将实体嵌入特征矩阵拆分为实部和虚部两个矩阵，表达式为：

16、；

17、；

18、其中，表示实体嵌入特征矩阵的实部矩阵，表示实体嵌入特征矩阵的虚部矩阵；

19、步骤102，关系嵌入特征初始化；将关系嵌入特征建模为d维复数，并使用标准正态分布对关系嵌入特征进行初始化；具体而言，对于每个关系，使用一个2×d维向量来表示嵌入特征，其中前d维表示实部，后d维表示虚部，即：；

20、其中，和分别表示第i个关系的实部和虚部，有m个关系，则关系嵌入特征矩阵r的大小为m×2d，表达式为：；

21、使用标准正态分布对进行初始化，表达式为：；

22、其中，表示关系嵌入特征矩阵r中第i个关系的第j个嵌入特征；

23、将关系嵌入特征矩阵r拆分为实部和虚部两个矩阵，表达式为：

24、；

25、；

26、其中，表示关系嵌入特征矩阵r的实部矩阵，表示关系嵌入特征矩阵的虚部矩阵；

27、步骤103，时间嵌入特征初始化；将时间嵌入特征建模为d维复数，并使用标准正态分布对其进行初始化；具体而言，对于每个时间，使用一个2×d维向量来表示嵌入特征，其中前d维表示实部，后d维表示虚部，表达式为：

28、；

29、其中，和分别表示第i个时间的实部和虚部，有l个时间，则时间嵌入特征矩阵t的大小为l×2d，表达式为：；

30、使用标准正态分布对t进行初始化，表达式为：；

31、其中，表示时间嵌入特征矩阵t中第i个时间的第j个嵌入特征；

32、将时间嵌入矩阵t拆分为实部和虚部两个矩阵，即：

33、；

34、；

35、其中，表示时间嵌入特征矩阵t的实部矩阵，表示时间嵌入特征矩阵t的虚部矩阵。

36、所述的构建时间四元组可信度评分函数，计算时间四元组可信度损失函数，包含以下步骤：

37、对于时间四元组，其中是关系主体，是关系客体，是关系，是时间；时间四元组对应的嵌入特征四元组表示为，和分别为和的嵌入特征，为关系的嵌入特征，为时间的嵌入特征，时间四元组的可信度评分函数为函数，即：

38、；

39、其中，是的共轭复数；

40、从时序知识图谱中采样出个时间四元组作为正样本的子集，随机构造出个时间四元组作为负样本的集合，计算时间四元组可信度损失函数，表达式如下：

41、；

42、其中，和是超参数。

43、具体地，所述的构建时间关系感知模块，计算时间关系感知损失函数，包含如下步骤：

44、从时序知识图谱中采样出个时间四元组，第个时间四元组的时间表示为，对应的嵌入特征表示为，第个时间四元组的时间表示为，对应的嵌入特征表示为，根据和的时间跨度，将时间关系分为5类，并打上时间关系标签，具体分类方式为：

45、对于两个时间点和，将时间关系分为以下五类：

46、第一类：，此时，，；

47、第二类：此时，，；

48、第三类：，此时，，；

49、第四类：，此时，，；

50、第五类：，此时，，；

51、其中，、和是根据具体的时序知识图谱预先设定的时间阈值，用于确定不同时间跨度范围的时间关系，时间关系标签是5维向量，是时间关系标签第k个元素的值；

52、时间关系感知模块用于判断时间点和的时间关系，表达式为：

53、；

54、其中，、、和是可学习的参数，和是激活函数，表示预测的时间点和的时间关系；

55、计算时间关系感知损失函数，表达式为：

56、；

57、其中，表示时间关系标签第k个元素的值，表示预测的时间关系第k个元素的值，对从时序知识图谱中采样出的个时间四元组两两计算时间关系感知损失函数，取平均得到最终的时间关系感知损失函数：；

58、其中，为最终的时间关系感知损失函数，该损失函数的值越小，意味着从时序知识图谱中采样出个时间四元组对应的个时间特征嵌入越发具有时间关系感知的能力。

59、具体地，所述的对时间四元组可信度损失函数和时间关系感知损失函数计算联合损失函数，采用联合损失函数来优化实体、关系和时间的嵌入特征表示，包括以下步骤：

60、从时序知识图谱中随机选择一批时间四元组作为训练样本，计算时间四元组可信度损失函数和时间关系感知损失函数，将这两个损失函数进行加权求和，得到联合损失函数，表达式为：；

61、其中，超参数和用于平衡两个损失函数的影响；

62、对联合损失函数进行优化，表达式如下：

63、；

64、；

65、；

66、；

67、其中，和分别表示当前时刻t的梯度的一阶矩估计和二阶矩估计，和分别表示上一时刻t-1的梯度的一阶矩估计和二阶矩估计，和是衰减率超参数，是当前时刻t的梯度，和分别是一阶矩估计和二阶矩估计的偏差修正项，是的t次幂，是的t次幂，是学习率，是为了防止除以0而添加的小常数，是当前时刻t的模型参数，是是下一时刻t+1的模型参数。

68、具体地，设计规则获得目标实体和候选实体，包括以下步骤：

69、步骤501，从时序知识图谱中随机采样出一个目标实体；

70、步骤502，从时序知识图谱的目标实体的两跳邻居节点中随机选取个候选实体，的计算公式为：；

71、其中，表示目标实体的两跳邻居节点的总数，是设定的超参数，用于避免候选实体数过多导致的计算量过大。

72、具体地，所述的根据优化后的实体的嵌入特征表示、关系的嵌入特征表示和时间的嵌入特征表示，计算候选实体的与目标实体的时间四元组可信度评分函数，根据候选实体的与目标实体的时间四元组可信度评分函数补全图谱，包括以下步骤：

73、目标实体的候选实体集合表示为，其中表示候选实体的集合，表示第i个候选实体，第i个候选实体的嵌入特征为；

74、步骤601，计算目标实体和其中一个候选实体的存在边的可信度；

75、目标实体的嵌入特征为；

76、计算时间四元组的可信度，表达式如下：

77、 ；

78、其中，表示时间四元组的可信度，表示目标实体的嵌入特征，表示第i个候选实体的嵌入特征，表示关系r的嵌入特征，表示时间t的嵌入特征，关系r从时序知识图谱中所有关系的集合随机采样得到，时间t从时序图谱中所有时间的集合随机采样得到；

79、步骤602，若大于设定的阈值，则认为这个时间四元组是存在的，则在目标实体和第i个候选实体之间加上一条关系为r，时间为t的边；

80、对目标实体的候选实体集合中的每个候选实体都进行步骤601和步骤602，补全目标实体的缺失的关系。

81、与现有方法相比，本发明方法的优点在于：本技术提供了，基于时间关系感知的时序知识图谱补全方法。本方法创新性提出了时间关系感知模块及时间关系损失函数，能够建模出更具时间关系判别性的特征。