来源:期刊VIP网 时间:
作者:熊庆博;陈磊;梁晓莉;刘天须;
单位:河南大学软件学院;河南省交通运输调度指挥中心;
摘要:针对传统水下图像增强模型缺乏泛化性和灵活性的问题,本文中提出一种多模态退化图文对比(MD-CLIP)模型;通过对比学习训练MD-CLIP模型,MD-CLIP模型将水下低质量图像的图像特征及文本特征编码为多模态退化特征;使用交叉注意力机制和提示嵌入的方式将MD-CLIP模型所预测的多模态退化特征集成到水下图像增强模型中,调整模型的性能和泛化性,并用消融和对比实验验证多模态退化特征的有效性。结果表明:使用交叉注意力机制将MD-CLIP模型预测的多模态退化特征嵌入到水下图像增强模型中,模型的图像增强性能和泛化性能显著提高;MD-CLIP模型可作为一个通用的增强模块添加到其他的图像增强模型中。
关键词:水下图像增强;;多模态退化特征;;对比学习;;交叉注意力机制
基金资助:国家自然科学基金项目(42201465);; 河南省重点研发推广专项项目(232102211015,232102211025)