我们的服务符合学术规范和道德
专业 高端让您使用时没有后顾之忧

武汉大学学报(理学版)2025年第04期:GMambaScanX:基于双流并行的三维人体姿态估计

来源:期刊VIP网 时间:


作者:汤昊霖;袁煜麟;卢笑;汪鲁才;吴成中;王耀南;

单位:湖南师范大学工程与设计学院;智能传感与康复机器人湖南省高校重点实验室;江西省通讯终端产业技术研究院有限公司;

摘要:基于Transformer的模型通过编码所有的关节点之间的连接关系,捕获全局视野的数据依赖关系,因而在三维人体姿态估计任务中取得了优秀性能。然而这类方法无法对关节局部依赖关系进行建模,且存在模型计算复杂度随序列长度平方增长的计算资源浪费问题。为了解决上述问题,本文将人体运动过程定义为状态空间模型的序列输入和输出过程,提出基于GCN(Graph Convolutional Network)和Mamba双流并行的人体结构扫描三维姿态估计方法 GMambaScanX,GCN模型对人体运动序列时空邻接关系进行建模,增强模型的局部依赖关系捕获能力。Mamba模型对人体运动序列时空长程关系进行建模,增强模型的全局依赖关系捕获能力,提出两种MambaScan扫描策略,针对人体运动状态转移特征的时序关节扫描,增强模型在时间维度对人体运动特征的理解能力;针对人体关节结构特征的人体结构先验引导的空间关节扫描,增强模型在空间维度对人体结构特征的理解能力。GMambaScanX在Human3.6M数据集上进行训练验证,平均关节位置误差为39.8 mm,参数量仅为MotionBERT的12.4%(5.3×10~6)。相比于进行全连接建模,GMambaScanX能够更好地提取人体结构特征,高效使用参数,提高模型的有效性与效率。

关键词:三维人体姿态估计;;状态空间模型;;图卷积网络;;人体结构关节点扫描

基金资助:国家自然科学基金(62007007,62277004);; 湖南省自然科学基金(2023JJ30415,2022JJ30395);; 江西省重大专项(20232ACC01007,20232ABC03A09);; 吉安市科技计划“揭榜挂帅”项目(20233TGV06020);; 湖南省学位与研究生教学改革研究重点项目(2022JG-ZD026);; 湖南省研究生科研创新项目(CX20240547)