基于共享人类目标跟踪特征的异常行为识别算法

摘要 人类行为识别是计算机视觉领域的热门研究课题，完整的行为识别通常包括人类检测、人类跟踪和行为识别。目前，基于深度学习的人类跟踪和异常行为识别这两项任务大多是分开执行的，两项任务中的相关特征信息无法得到充分利用，导致最终的异常行为识别算法时间成本高、资源消耗大。这一问题极大地限制了异常行为识别的广泛应用。为了提高算法的性能，本文提出了一种基于人体目标跟踪的新型异常行为识别模型，通过特征共享实现人体目标跟踪后的异常行为识别过程。首先，通过引入空间注意力机制来改进实时多域卷积神经网络，以提高其对视频系列中特定人体的跟踪能力。然后，将 MDnet 卷积层的输出作为异常行为识别网络的输入，并将这些特征与 CNN 和 LSTM 结合，实现人体异常行为识别。在网络训练过程中，采用了多任务学习方法来训练人体跟踪和行为识别模型。在 CASIA 行为分析数据集中选取的 6 种异常行为和在北师大数据库中选取的 12 种行为用于训练和测试网络模型。测试结果表明，所提出的模型能够精确、实时（每秒 26 帧）地跟踪人类目标。所提出的模型还能分辨跟踪目标的异常行为，识别率高达 92.1%。跟踪模型中获得的人类特征被用作异常行为识别网络的输入，从而实现了跟踪和识别的特征共享，建立了包括目标跟踪、特征提取和行为识别在内的完整的异常行为识别框架。该方法的提出具有重要的现实意义。