来源:期刊VIP网 时间:
作者:杨浩文;孙美凤;
单位:扬州大学信息工程(人工智能)学院;扬州大学广陵学院;
摘要:为了提高短文本匹配精度,本研究提出一种对BERT进行知识增强和结构增强的短文本匹配方法(KSBERT)。该方法首先为输入文本引入外部知识;然后将扩充后的文本同时送往上下文编码器BERT和结构编码器GAT,捕获输入文本的上下文关系特征和结构特征;最后,基于两个特征的融合结果进行匹配判定。基于公开数据集BQ_corpus和LCQMC的实验结果表明,KS-BERT的匹配效果超过了ERNIE2.0等先进模型。本研究工作说明,在面向短文本匹配时,知识增强和结构增强是改进BERT的两种有效途径,在BQ_corpus中分别提升了0.2%和0.3%的准确率,在LCQMC中则分别提升了0.4%和0.9%的准确率。
关键词:深度学习;;短文本匹配;;图注意力网络;;知识增强