来源：期刊VIP网 时间：
作者：李志欣;刘鸣琦;
单位：教育区块链与智能技术教育部重点实验室(广西师范大学);广西多源信息挖掘与安全重点实验室(广西师范大学);
摘要：特征解耦能够将不同模态特征解耦为相似特征和差异特征，以缓和模态间的贡献度差异。但由于差异特征不仅包含互补信息，同时也包含一致信息，因此差异特征存在显著分布差异。传统特征解耦方法忽视了差异特征内在的冲突，从而导致预测不准确。为了解决这一问题，本文提出一种差异特征导向的解耦多模态情感分析方法，利用特征表示学习和对比学习的思想，提取更为有效的特征并扩大差异特征间的差异。首先部署一个特征提取模块，针对3种模态使用不同的特征提取方法以提取到更为有效的特征；其次使用共同编码器与独立编码器解耦3种模态特征，并使用一个多模态变压器进行特征融合；最后，为了扩大差异特征间的差异，设计用于优化的损失函数。在2个大规模基准数据集上进行实验，并与多个当前先进方法进行比较，在绝大部分指标上都超越当前先进方法，验证了本文方法的有效性与鲁棒性。
关键词：多模态情感分析;;特征解耦;;预训练BERT;;对比学习;;表示学习
基金资助：国家自然科学基金(62276073,61966004);; 广西自然科学基金(2019GXNSFDA245018);; 广西研究生教育创新计划(YCBZ2024115);; 广西“八桂学者”工程专项基金
