来源：期刊VIP网 时间：
作者：胡新荣;柯廷丰;罗瑞奇;张梓怡;梁金星;杨凯;彭涛;
单位：纺织新材料与先进加工技术国家重点实验室;湖北省服装信息化工程技术研究中心;武汉纺织大学计算机与人工智能学院;
摘要：动态虚拟试衣的任务是在视频中以时空一致的方式将目标服装与人物进行匹配，目的是生成连贯流畅且真实的试衣视频。动态试衣过程中人物的姿态变化，导致试穿的服装出现自遮挡、印花模糊等问题。因此，本文提出基于空间变换网络（Spatial Transformer Network,STN）的服装扭曲网络动态虚拟试衣方法。在服装扭曲网络中，利用Transformer模块兼顾全局信息以及局部重点信息的优势强化数据特征区域，STN模块采用可学习的薄板样条插值（Thin Plate Spline,TPS）方法预测服装扭曲范围，获取扭曲图像及掩码；试衣网络利用自注意力机制的U-Net网络对齐扭曲图像掩码和人体表征信息，生成高质量试衣图像；最后，通过动态合成网络解决视频帧时间一致性问题，生成连贯高质量试衣视频。在VVT数据集上，与CPVTON相比，本文的方法将平均结构相似性指数（SSIM）提高了0.076，平均感知图像块相似度（LPIPS）降低了0.420；与FWGAN方法相比，其I3D和ResNeXt101分别降低了0.089和2.252。在VITON-HD数据集上，本文方法的SSIM指标也高于CP-VTON和FW-GAN，进一步表明该方法生成的图片质量高、失真低。
关键词：动态虚拟试衣;;空间变换网络;;U-Net网络;;自注意力机制
基金资助：宁波市科技局重点研发专项（2021Z069）
