我们的服务符合学术规范和道德
专业 高端让您使用时没有后顾之忧

昆明理工大学学报(自然科学版)2024年第02期:基于因子分析的卷积神经网络模型压缩算法研究

来源:期刊VIP网 时间:


作者:刘冬冬;李林才;句媛媛;吴刘仓;肖清泰;

单位:昆明理工大学理学院;昆明理工大学理学院工业工程重点实验室;昆明理工大学应用统计学研究中心;昆明理工大学冶金与能源工程学院;

摘要:针对复杂的卷积神经网络模型存在参数规模大、运算时间长等问题,提出一种有效的卷积神经网络模型压缩算法.该算法引入因子分析的思想对卷积神经网络模型进行压缩:首先将四维的卷积核权重张量转化为二维的矩阵形式,计算相关矩阵,并对其进行奇异值分解;其次,通过控制累积方差贡献率,确定适当的因子数量,计算因子载荷矩阵;最后,重构出更具代表性的卷积核.通过在Catdog、CIFAR10、CIFAR100三个数据集上进行验证,实验结果表明:该压缩算法能够在保证卷积神经网络精度的前提下,使AlexNet、ResNet的参数压缩率达到30.7%~68.2%,运行时间减少17.53%~37.21%.从而验证了本文提出的算法在压缩率和运算效率方面的优势,为基于因子分析的卷积神经网络模型压缩提供了一种可能的框架.

关键词:模型压缩;;因子分析;;卷积神经网络;;图像分类

基金资助:国家自然科学基金项目(12261051);; 云南省基础研究计划项目(202201BE070001-026);; 云南省科技厅科技计划项目(202101AU070031);; 云南省教育厅科研基金项目(2022J0059)