来源:期刊VIP网 时间:
作者:杨淑莹;田迪;郭杨杨;赵敏;
单位:天津理工大学计算机科学与工程学院;学习型智能系统教育部工程研究中心;
摘要:为进一步改善聋哑学生高等教育教学环境,提升聋哑学生人才培养质量,对语音到手语的专项翻译进行了研究。提出了一种新型语音到手语的翻译方法,直接建立语音到手语编码的端到端识别模式,再将手语编码序列匹配输出由基动作组成的仿真手语动画,省去了传统语音到手语翻译过程中的各个中间步骤,避免了其间的误差积累,提升了翻译效率及准确率。实验结果表明,该端到端语音手语翻译方法能够达到较好的翻译效果,在教学应用中达到了预期效果,具有一定的现实应用前景。
关键词:端到端;;手语翻译;;虚拟现实;;深度学习
基金资助:2019年天津市教育科学规划院教学成果奖重点培育项目(PYGJ-015);; 2019年天津市虚拟仿真实验教学项目(津教政办[2019]69号);; 2020年天津理工大学校级重点教学基金项目(ZD20-04)