来源:期刊VIP网 时间:
作者:高晗;万方杰;马明旭;
单位:郑州大学网络空间安全学院;
摘要:针对静态图像行为识别缺乏大规模训练数据集和无法利用时空特征所导致的识别效果不佳问题,提出一种结合残差神经网络(residual neural network, ResNet)和卷积注意力模块(convolutional block attention module, CBAM)的静态图像行为识别方法。使用特定数据增强技术对数据集进行扩充,采用迁移学习方法对模型初始化,并进行微调训练提升对静态图像行为识别的特征表达能力。通过将CBAM嵌入ResNet的第1个卷积层后来调整模型注意力,利用Grad-CAM方法提取模型识别图像时关注区域并进行可视化,对精度提升进行了解释。在PPMI数据集上,所提方法在演奏乐器类、持有乐器类和总类的平均识别精度分别达到88.30%、81.94%和77.93%,验证了方法的有效性。
关键词:残差网络;;行为识别;;卷积注意力模块;;静态图像;;迁移学习
基金资助:河南省重大专项(221100210100)