来源：期刊VIP网 时间：
作者：丛子涵;张思佳;
单位：大连海洋大学信息工程学院辽宁省海洋信息技术重点实验室;大连海洋大学设施渔业教育部重点试验室;大连市智慧渔业重点实验室;
摘要：针对现有多模态情感分类模型无法全面、准确地捕获复杂的情感信息，以及融合过程中没有充分挖掘两者之间的潜在关联，导致模型结构冗余复杂、计算效率低下的问题，提出一种多视图关注网络（MPF-Net）模型。该模型通过引入多维感知特征捕获机制，全面而精确地获取图像和文本中蕴含的情感信息；其次，采用增强的记忆互动学习机制，使模型能够更加有效地提取和融合单模态特征，并在多轮迭代中不断更新和优化这些特征，从而捕捉到更深层次的情感细节；再构建一个高级深度学习框架，该框架采用生成对抗网络（GAN）与池化技术的深度融合单元，以实现复杂数据特征的高效提取与整合；最后，在保留原有特征信息的基础上进行特征整合，同时通过降维技术降低模型的复杂性，提高计算效率。在公开数据集MVSA-Single和MVSA-Multiple以及自建数据集上通过实验验证所提模型的准确性，结果表明，与多个基线模型对比，所提模型的准确率和F1值均有所提高。
关键词：多模态情感分析;;对抗学习;;多视图网络;;生成对抗网络;;文本特征提取;;特征融合
基金资助：辽宁省教育厅高等学校基本科研项目面上项目（LJKMZ20221095）;; 辽宁省重点研发计划项目（2023JH26/10200015）
