来源：期刊VIP网 时间：
作者：杨智诚;郑军红;何利力;
单位：浙江理工大学计算机科学与技术学院(人工智能学院);
摘要：多模态命名实体识别（MNER）致力于准确检测文本中的命名实体，并结合图像信息将其分类到预定义类型中。然而，现有的MNER模型在不同模态特征的使用上仍存在不足，如图文噪声难以避免，不相关的图像区域可能误导文本信息，导致模型性能下降。为此，提出一种基于多域特征融合的MNER方法。该方法通过提取图像的频域特征作为补充模态，并结合特征融合工程对三种模态的特征向量进行整合，以捕获模态间的深层语义联系，从而提高命名实体识别的准确性。在Twitter-2015和Twitter-2017两个公开数据集上的实验结果表明，所提方法能够显著提升MNER任务中的实体识别准确率，验证了该方法的有效性。
关键词：多模态命名实体识别;;图文噪声;;频域特征;;特征融合;;补充模态;;深层语义联系
基金资助：国家重点研发计划项目：数据-知识-大模型驱动的中小企业产品研发创新和服务技术（2024YFB3312602）
