来源:期刊VIP网 时间:
作者:陶薇薇;王延红;
单位:四川文化产业职业学院文化信息学院;韶关学院外国语学院;
摘要:问答(Question Answering, QA)是一项需要对自然语言上下文进行推理的任务,现有工作大多采用图神经网络(Graph Neural Network, GNN)增强语言模型(Language Model, LM)来编码知识图谱(Knowledge Graph, KG)信息。大多数基于GNN的QA模块没有利用KG丰富的关系信息,而是依赖于增强LM和KG之间有限的信息交互。为了解决上述问题,提出基于关系感知语言图的知识查询网络(Relation-Aware Language Graph, RALG),以统一方式对实体关系的语言和图谱进行联合推理。RALG构建了元路径标记,学习基于不同结构和语义关系的嵌入。关系感知自注意力(Relation Aware Self-Attention, RASA)模块通过跨模态相对位置偏差对不同模态进行整合,引导不同模态相关实体之间的信息交换。在常识QA数据集(CommonsenseQA和OpenBookQA)和医学QA数据集(MedQA-USMLE)上验证了RALG的性能优势。
关键词:图神经网络;;语言模型;;知识图谱;;关系感知;;跨模态
基金资助:四川省科技计划资助(2019JDPT0009)~~