基于扩散概率分布的时序知识图谱推理
作者:
作者单位:

作者简介:

周光有(1983-), 男, 博士, 教授, 博士生导师, CCF 专业会员, 主要研究领域为自然语言处理, 信息检索. ;李鹏飞(1997-), 男, 硕士, 主要研究领域为自然语言处理, 计算机科学与技术. ;谢鹏辉(1998-), 男, 硕士, 主要研究领域为自然语言处理, 计算机科学与技术. ;罗昌银(1983-), 男, 博士, 副教授, CCF 专业会员, 主要研究领域为大数据管理, 数据挖掘.

通讯作者:

周光有, E-mail: gyzhou@mail.ccnu.edu.cn

中图分类号:

TP18

基金项目:

国家自然科学基金(61972173); 中央高校基本科研业务费(CCNU22QN015); 武汉市知识创新专项基础研究项目(2022010801010278)


Temporal Knowledge Graph Reasoning Based on Diffusion Probability Distribution
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    时序知识图谱推理旨在补充知识图谱中缺失的链接(事实), 其中每个事实都与时间戳进行绑定. 基于变分自动编码器的动态变分框架在这项任务中显示出独特的优势. 通过将实体和关系基于高斯分布进行联合建模, 该方法不仅具备很强的可解释性, 而且解决了复杂的概率分布问题. 然而, 传统的变分自动编码器方法在训练过程中容易出现过拟合问题, 从而不能精确捕捉实体语义的演化过程. 为了解决这个问题, 提出基于扩散概率分布的时序知识图谱推理模型. 具体来讲, 建立一个双向的迭代过程, 将实体语义建模过程分为多个子模块. 其中, 每个子模块通过一个正向的加噪变换和反向的高斯采样组成, 负责建模实体语义的一个微小演变过程. 相对基于变分自动编码器的方法, 通过多个子模块联合建模显示地学习度量空间中实体语义随时间的动态表示, 能够得到更为精确的建模. 与基于变分自动编码器的方法相比, 对于评估指标 $ MRR $, 模型在Yago11k数据集和Wikidata12k数据集分别提高4.18%和1.87%, 在ICEWS14和ICEWS05-15数据集上分别提高1.63%和2.48%.

    Abstract:

    Temporal knowledge graph reasoning aims to fill in missing links or facts in knowledge graphs, where each fact is associated with a specific timestamp. The dynamic variational framework based on variational autoencoder is particularly effective for this task. By jointly modeling entities and relations using Gaussian distributions, this method not only offers high interpretability but also solves complex probability distribution problems. However, traditional variational autoencoder-based methods often suffer from overfitting during training, which limits their ability to accurately capture the semantic evolution of entities over time. To address this challenge, this study proposes a new temporal knowledge graph reasoning model based on a diffusion probability distribution approach. Specifically, the model uses a bi-directional iterative process to divide the entity semantic modeling process into multiple sub-modules. Each sub-module uses a forward noisy transformation and a backward Gaussian sampling to model a small-scale evolution process of entity semantics. Compared with the variational autoencoder-based method, this study can obtain more accurate modeling by learning the dynamic representation of entity semantics in the metric space over time through the joint modeling of multiple submodules. Compared with the variational autoencoder-based method, the model improves by 4.18% and 1.87% on the Yago11k dataset and Wikidata12k dataset for evaluating the MRR of the indicator and by 1.63% and 2.48% on the ICEWS14 and ICEWS05-15 datasets, respectively.

    参考文献
    相似文献
    引证文献
引用本文

周光有,李鹏飞,谢鹏辉,罗昌银.基于扩散概率分布的时序知识图谱推理.软件学报,2024,35(11):5083-5097

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-02-28
  • 最后修改日期:2023-04-25
  • 录用日期:
  • 在线发布日期: 2023-11-15
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号