摘要详情
391 / 2024-03-28 23:37:40
基于MSRST-GCN的煤矿下矿工行为识别方法
人体姿态估计,行为识别,图卷积网络,通道注意力,多流集成
全文录用
解决现有井下矿工行为识别算法对相似性动作识别不准确，识别速率慢，骨骼序列特征提取能力差等问题，本文设计了一种基于多流集成时空图卷积的行为识别算法MSRST-GCN(Multi-stream Reassemble Spatial Temporal Graph Convolutional Networks)。模型由姿态估计模块和行为识别模块组成。首先利用姿态估计模型Openpose提取人体姿态关键点，针对现有姿态估计网络计算量大导致的识别速率慢的问题，引入轻量级模型MobileNet v3替换主干网络VGG19以提高模型的检测速率。然后利用行为识别模块对输入的图数据进行识别，针对现有行为识别算法对输入的骨架数据利用不充分的问题，提出一种多流集成网络的结构，增加不同模态数据之间的互补信息，对相似性动作进行更完备的判决，同时提出了一种多层特征融合策略来提高模型的识别精度。最后，引入轻量级通道注意力模型ECA解增强模型对骨骼序列中关键特征的提取。MSRST-GCN模型在动作识别公共数据集和自建井下矿工数据集上表现良好。实验结果表明：①在公共数据集COCO2017上，改进的Openpose模型在计算量上降低了6倍左右，而准确率下降了2.1%，在可接受范围。②在公共数据集NTU−RGB+D上，以X−Sub和X−Set作为评估协议时相比于ST-GCN均提高了9.7%和8.4%，并通过混淆矩阵证明多流分支网络结果其对细粒度动作识别的有效性，同时进行了消融实验证明每个模块的有效性。③在自建矿工动作数据集上MSRST-GCN对下蹲，坐这两类相似度高的动作提升较大，提升约7%。平均识别准确率由94.2%提升到96.7%，每类动作的识别准确率都在90.2%以上，识别速率达到30fps，满足实时检测的需求。
重要日期
-
会议日期
05月29日
2024
至06月01日
2024
-
05月08日 2024
初稿截稿日期
主办单位
中国矿业大学
历届会议
-
2022年05月26日 中国 徐州市
第九届能源、资源、环境与可持续发展国际会议 -
2019年05月31日 中国 Xuzhou
能源、资源、环境与可持续发展国际会议
