来源：期刊VIP网 时间：
作者：向志华;
单位：广东理工学院信息技术学院;
摘要：针对多模态数据融合分析场景中的智能化情感感知问题，文中提出一种深度多模态的融合分析算法，通过集成多种模态信息源的互补性，提升了情感感知与分类的精准度。该算法的框架设计采用三阶段融合策略，利用Bi-LSTMTransformer捕捉文本时序依赖，并设计了多模态门控自注意力机制，实现模态间情感信息特征的自适应加权。在加权结果上构建了门控分类机制，在模态独立层与融合层分别进行情感预测。基于多模态融合的情感识别架构，在一定程度上缓解了多模态数据难以融合的问题，而自适应门控策略则有效提升了平衡模态特异性表达与全局一致的稳定性。在CMU-MOSI及其拓展数据集上进行的算法训练和测试结果表明，所提算法的综合性能良好，在二分类任务中，其准确率可达93.14%，较目前的先进方法（TCMCL）提升了6.44%，在七分类场景下的准确率也可达59.26%，显著提升了情感分类的准确性与鲁棒性。
关键词：多模态数据融合;;情感感知;;分类算法;;注意力机制;;Bi-LSTM;;Transformer
基金资助：2024年度广东省本科高校教学质量与教学改革工程建设项目(2024-1133);; 2025年广东理工学院校级科技项目(2025ZDZK006)
