来源:期刊VIP网 时间:
作者:郭孝园;朱美强;田军;朱贝贝;
单位:中煤科工集团常州研究院有限公司;天地(常州)自动化股份有限公司;中国矿业大学信息与控制工程学院;
摘要:针对井下目标发生多尺度变化、运动目标遮挡及目标与环境过于相似等问题,提出了一种基于深度学习的煤矿井下人员不安全行为检测与识别方法。采用自上而下的策略,构建了一种基于自注意力机制的目标检测模型YOLOv5s_swin:在基于自注意力机制的模型Transformer基础上引入滑动窗口操作,得到Swin-Transformer,再利用Swin-Transformer对传统YOLOv5s模型进行改进,得到YOLOv5s_swin。针对井下人员与监控探头间距不定导致的人体检测框多尺度变化问题,在检测出人员目标的基础上,使用高分辨率特征提取网络对人体的关节点进行提取,再通过时空图卷积网络(ST-GCN)进行行为识别。实验结果表明:YOLOv5s_swin的精确度达98.9%,在YOLOv5s的基础上提升了1.5%,推理速度达102帧/s,满足实时性检测要求;高分辨率特征提取网络能够准确提取不同尺度的目标人体关节点,特征通道数更多的HRNet_w48网络性能优于HRNet_w32;在复杂工矿条件下,ST-GCN模型的准确率和召回率都较高,可准确地对矿工行为进行分类,推理速度达31帧/s,满足井下监测需求。
关键词:井下不安全行为识别;目标检测;深度学习;自注意力机制;YOLOv5s;高分辨率特征提取网络;时空图卷积网络
基金资助:国家自然科学基金项目(62373360)