来源:期刊VIP网 时间:
作者:高翔;白静;薛珮芸;董浙南;强彦;
单位:太原理工大学电子信息与光电工程学院;山西高等创新研究院;太原理工大学计算机科学与技术学院;
摘要:减小域间差异和加强特征情感表达是解决跨库语音情感识别任务的两个主要问题,但少有研究同时考虑到上述问题,为此,提出一种基于解耦知识蒸馏策略优化的域自适应跨库语音情感识别算法。在域自适应算法中引入解耦知识蒸馏(DKD)策略,提高特征提取器获取具有显著情感信息的域不变特征的能力;并提出一个时频域自校正卷积神经网络(TFSC-CNN),融合不同感受域的特征细节,丰富特征中的情感信息,作为教师模型,指导特征提取器的训练过程;最后,使用优化后的特征提取器进行对抗训练,减小特征的域间差异,提升模型的泛化能力。所提方法在CASIA、EmoDB和RAVDESS数据集上进行了6组不同的跨库语音情感识别任务,在UAR和WAR两个评价指标上分别取得了49.74%和50.62%的识别结果;同时,通过消融实验进一步验证了不同改进模块的有效性。文中方法为跨库情感识别提供了一种新思路。
关键词:跨库语音情感识别;;时频域自校正模块;;解耦知识蒸馏;;域自适应;;对抗训练;;域不变特征
基金资助:国家自然科学基金项目(62376183);; 中央引导地方科技发展资金项目(YDZJSX2022C004);; 山西省应用基础研究计划项目(201901D111094);; 山西省青年基金项目(20210302124544)