来源:期刊VIP网 时间:
作者:刘昭阳;樊瑶;姜敏;
单位:西藏民族大学信息工程学院;
摘要:针对CNN在捕获图像全局特征的局限性,以及Transformer在参数利用率上的不足,文中提出一种融合BiFormer和可逆残差块的风格迁移模型StyleBiFormer。首先使用语义位置编码,为模型提供Patch的语义信息和位置信息;然后使用编码器和可逆残差块提取图像的全局特征和局部特征,有效避免了特征信息丢失问题;最后使用解码器融合最匹配的内容特征与风格特征,生成更具视觉冲击力的图像。定性和定量实验证明StyleBiFormer的有效性,与其他主流方法中效果最好的模型相比,所提模型在SSIM上增长了7%,在Gram Loss上降低了3%,生成的图像视觉效果较好,在保留全局特征的同时,避免了特征泄露问题。所提模型可以有效地提取并融合语义相似度最高的内容特征与风格特征,实现了生动的风格迁移效果,使原始图像在保留原有语义的同时,能够呈现出全新的风格面貌,能够较好地满足现实中的图像风格迁移任务。
关键词:CNN;;风格迁移;;BiFormer;;可逆残差块;;语义位置编码;;语义相似度
基金资助:国家自然科学基金项目(62062061);; 西藏民族大学国家级重大课题培育项目(324132400307)