来源：期刊VIP网 时间：
作者：李悦莹;曹晖;张积赛;夏啸天;
单位：西北民族大学中国民族信息技术研究院语言与文化计算教育部重点实验室;
摘要：随着社交媒体和网络内容的快速发展，反讽的使用已成为网络交流和信息传播中的常见现象。然而，传统的文本分析方法往往无法准确捕捉反讽的含义，单靠文本信息具有局限性和不稳定性的问题。文中构建了一个中文多模态反讽数据集，其中包含5 964条带标注的数据样本，包括文本和图像两种模态。图像在多模态反讽检测任务中发挥着重要作用。为了充分挖掘图像中隐含的信息，文中使用图像字幕生成模型ViT-GPT2-image-captioning为每个图像生成对应的图像描述，以此对图像进行知识增强，进而增强对图像的理解和认知。针对多模态数据在融合过程中存在的模态间信息关联性不足以及数据缺失等问题，提出融合模态信息的模态间注意力网络模型CMANet进行反讽检测。通过在数据集上进行实验验证，结果表明所提CMANet模型对比基线模型F1分数提高了1.49%，准确率提高了1.89%。
关键词：多模态;;反讽检测;;注意力机制;;跨模态;;深度学习;;融合网络
基金资助：甘肃省中央引导地方科技发展资金项目（25ZYJA034）;; 甘肃省教育教学成果培育项目（2023GSJXCGPY-60）;; 西北民族大学研究生教育教学改革项目（2024JGYB067）;西北民族大学计算机应用技术创新团队项目
