来源：期刊VIP网 时间：
作者：王静红;高远;李昊康;
单位：河北师范大学计算机与网络空间安全学院;河北师范大学河北省网络与信息安全重点实验室;河北师范大学供应链大数据分析与数据安全河北省工程研究中心;河北工程技术学院人工智能与大数据学院;
摘要：面向目标的多模态情感分析，其任务是对多模态帖子或评论中给定的目标词进行情感分类。针对目前该领域结合循环神经网络的模型只关注于一般的文本和图片表示，没有同时考虑模态内和模态间的信息交互，且忽略了图像信息中的噪声的问题，提出了一种双通道循环神经网络模型（DRNN）。该模型首先设计了一个基于注意力机制的循环神经网络模块，该模块利用门控循环单元（Gate Recurrent Unit, GRU）来过滤图像的噪声，之后通过注意力机制将文本和图像融合，最后将融合后的信息逐步加入目标信息中，得到模态间的动态表示。另外提出了一个目标文本交互循环神经网络模块，该模块通过计算目标信息与上下文中每个词的权重来学习模态内的上下文表示。最后将两部分模块得到的信息拼接后送入全连接层和softmax层预测情感极性。在两个基准数据集Twitter-15和Twitter-17上进行了大量实验，实验结果表明，与当前最先进的模型相比该模型能够有效增强面向目标的多模态情感分析的效果。
关键词：循环神经网络;;多模态;;面向目标的情感分析;;注意力机制;;噪声
基金资助：河北省自然科学基金（F2021205014;F2019205303）;; 河北省高等学校科学技术研究项目（ZD2022139）;; 中央引导地方科技发展资金项目（226Z1808G）;; 河北省归国人才资助项目（C20200340）
