来源：期刊VIP网 时间：
作者：冯松;胡慧君;刘茂福;
单位：武汉科技大学计算机科学与技术学院;智能信息处理与实时工业系统湖北省重点实验室;
摘要：在社交媒体和在线平台产生的大数据背景下，图文情感分析成为了一个重要的研究任务，对于理解用户情感倾向至关重要。现有方法通常局限于模态的单层次特征，缺乏对图像多层次情感信息的理解，并且在多模态特征融合时容易产生信息冗余和特征偏移，导致模型效果不佳。针对上述问题，提出了一种基于语义引导注意力和多任务学习的图文情感分析方法。通过多尺度特征提取模块捕获图像的多层次情感信息，利用语义引导注意力融合与文本情感信息相关的图像信息，在多任务学习模块中引入情感聚焦校准任务来最小化融合特征与其情感质心的距离。在三个社交媒体数据集上的实验结果表明，该方法在图文情感分析任务中优于其他现有方法。
关键词：图文情感分析;;多尺度特征提取;;语义引导注意力;;情感聚焦校准;;多任务学习
基金资助：“十四五”湖北省优势特色学科(群)项目(2023D0302)
