来源：期刊VIP网 时间：
作者：王童;
单位：福建师范大学;
摘要：针对环境中存在多种类物体，且光照条件、遮挡情况等可能影响动作识别效果的问题，文中提出一种基于CNNLSTM的多模态人体动作识别方法。采集人体运动时深度图像数据、合加速度两种可以体现人体动作的多模态行为数据，输入CNN模型，经卷积、降采样等处理，提取人体运动深度图像的骨骼关节特征图、合加速度方差特征图，作为人体动作多模态特征样本，输入LSTM模型，结合人体动作的时域性，学习当前多模态特征样本与动作类型之间的仿射变换关系，在全部时间步中，收集LSTM模型输出门输出的动作分类结果，引入投票决策方法，将出现次数最多的分类结果作为多模态人体动作识别结果。实验结果表明，该方法在正常光照、弱光环境中均可准确识别多种人体动作类型。
关键词：CNN-LSTM;;多模态人体动作;;类型识别;;Kinect传感器;;骨骼关节;;惯性传感器;;合加速度
基金资助：教育部人文社会科学研究规划基金项目(23YJA890051)
