来源：期刊VIP网 时间：
作者：余超;王铭硕;赵子樵;于清;
单位：新疆大学软件学院;新疆大学信息科学与工程学院;
摘要：图文匹配任务在计算机视觉以及多模态信息处理领域引起了广泛关注。这一跨模态任务主要难点在于如何高效地提取视觉和文本的信息以及如何解决不一致图文冲突问题。文中提出了一种新颖的图像文本匹配方法，利用图像对象相对位置的注意力机制解决忽视图像中物体相对位置信息的问题，从而更好地关注视觉信息的提取，同时为了解决忽视图像-文本间不对齐内容相似度贡献的问题，运用了负向感知模块关注物体相对位置和文本中的单词非对齐的信息对相似度的负贡献，从而提高图像-文本匹配相似度的准确性。最后，在公开图文匹配数据集Flickr30K上达到了最好的r_(Sum)，比当前最好的负向感知模型提高了7.3，取得了最先进的性能。
关键词：多模态;;图文匹配;;视觉信息提取;;相对位置编码;;注意力机制;;负向感知
基金资助：国家973重点研发计划项目（2014CB340506）
