来源:期刊VIP网 时间:
作者:唐宏;卓诗语;
单位:四川工商职业技术学院教务处;四川大学机械工程学院;
摘要:文本生成图像(Text-to-Image, TTI)任务是指利用文本符号来生成图像,在艺术设计领域中有重要应用前景。由于缺乏不同语种的注释图像数据,对TTI的研究主要集中在英文领域,现有TTI模型无法利用其他语种数据进行图像生成。基于上述考虑,研究多语种TTI(Multilingual TTI,MTTI)以及基于神经机器翻译引导的MTTI系统,依托多语种多模态编码器,提出基于多语种文本符号的艺术图像生成模型(Art Image Generation Model Based on Multilingual Text Symbols, AIG-MTS),学习权重并整合多语种文本知识,减少语种之间的差异,提高模型性能。在标准数据集COCO-CN、Multi30K Task2和LAION-5B上进行实验,相比于主流算法,AIG-MTS模型在所有数据集上的性能最佳。
关键词:设计领域;;多语种;;文本生成图像;;多模态编码器;;神经机器翻译
基金资助:四川省科技计划资助(2022YFG0186)~~