来源：期刊VIP网 时间：
作者：乐超洋;胡文瑾;张福军;
单位：西北民族大学语言与文化计算教育部重点实验室;西北民族大学数学与计算机科学学院;
摘要：针对卷轴画图像的尺度大小不一且具有一定的空间分布特性以及基于Transformer的编码层容易丢失图像关键信息的问题，文中提出一种结合多尺度与多层级聚合的卷轴画图像描述模型（MMA）。在编码阶段，通过引入非对称卷积和多尺度特征模块，可以有效提高卷积层获取空间信息的能力并融合卷轴画图像全局和局部的多尺度上下文信息，从而得到具有丰富语义信息的特征表示。在解码阶段，设计了多层级聚合网络，通过聚合不同编码层的特征实现高层编码层语义信息和低层编码层内容信息的有效利用，从而有效缓解信息丢失的问题。实验结果表明，该模型在卷轴画数据集上取得了不错效果，较NIC模型在BLEU-4、METEOR上分别提高了26.7%、0.9%，并生成准确性更高的描述语句。
关键词：图像描述;;卷轴画图像;;多尺度特征;;非对称卷积;;多层级聚合解码;;Transformer
基金资助：国家自然科学基金项目(62061042);国家自然科学基金项目(61862057);; 国家民委创新团队计划(2018[98]号);; 中央高校建设世界一流大学(学科)和特色发展引导专项资金
