来源：期刊VIP网 时间：
作者：郝雅卉;谢珺;郝戍峰;孙颖;连浩毅;杨文秀;
单位：太原理工大学电子信息工程学院;太原理工大学人工智能学院;
摘要：针对现有多模态细粒度情感分析模型存在的文本和视觉特征提取不充分、在模态融合过程中忽略方面词引导作用的问题。提出了一种基于方面词感知的多模态细粒度情感分析模型。首先，设计语义对齐模块获取图像中方面词线索，增强方面词感知能力；其次，构建面向方面词的句法依赖图和情感句法图注意力网络，多角度挖掘文本内部与方面词有关的复杂依赖关系；再次，设计多特征编码模块，获取丰富的视觉特征线索；最后，设计对偶交叉注意力机制获取图文模态双向交互信息，基于门控语义图卷积网络和方面掩码机制进一步提高方面词特征质量，引入注意力机制进行方面词感知的模态融合。研究结果表明，在Twitter-2015和Twitter-2017公开数据集上的准确率相比基线模型分别平均提高3.00和2.78个百分点，Macro-F1值分别平均提高3.50和2.53个百分点，有效提升了多模态细粒度情感分析性能。
关键词：句法依赖图;;多特征编码;;情感句法图注意力网络;;门控语义图卷积网络
基金资助：虚拟现实技术与系统全国重点实验室(北京航空航天大学)开放课题基金(VRLAB2022C11);; 山西省重点研发计划项目(202102020101004);; 山西省回国留学人员科研教研资助项目(2024-61)
