我们的服务符合学术规范和道德
专业 高端让您使用时没有后顾之忧

郑州大学学报(理学版)2025年第02期:一种基于知识蒸馏的边缘联邦学习算法

来源:期刊VIP网 时间:


作者:石玲;何常乐;常宝方;王亚丽;袁培燕;

单位:河南师范大学计算机与信息工程学院;智慧商务与物联网技术河南省工程实验室;

摘要:针对边缘计算环境中参与联邦学习的客户端数据资源的有限性,同时局限于使用硬标签知识训练模型的边缘联邦学习算法难以进一步提高模型精度的问题,提出了基于知识蒸馏的边缘联邦学习算法。利用知识蒸馏对软标签信息的提取能够有效提升模型性能的特点,将知识蒸馏技术引入联邦学习的模型训练中。在每一轮的联邦学习模型训练过程中,客户端将模型参数和样本逻辑值一起上传到边缘服务器,服务器端聚合生成全局模型和全局软标签,并一起发送给客户端进行下一轮的学习,使得客户端在进行本地训练时也能够得到全局软标签知识的指导。同时在模型训练中对利用软标签知识和硬标签知识的占比设计了动态调整机制,使得在联邦学习中能够较为合理地利用两者的知识指导模型训练,实验结果验证了提出的基于知识蒸馏的边缘联邦学习算法能够有效地提升模型的精度。

关键词:边缘计算;;知识蒸馏;;客户端;;软标签;;硬标签

基金资助:国家自然科学基金项目(62072159,U1804164)