关于移动姿势估计和动作识别的设计与实施

摘要 人体姿态估计（PE，随身追踪人体姿态）是一种基于计算机视觉的技术，可识别和控制人体上的特定点。这些点代表我们的关节和身体上的特殊点，决定着运动的大小、距离、弯曲角度和类型。在特定运动中了解这些点是康复和理疗、健身和自我教练、增强现实、动画和游戏、机器人管理、监控和人体活动分析等工作的基础。要实现这些功能，可能需要使用特殊的服装或传感器阵列来达到最佳效果，但 PE 的大量使用与许多用户拥有的设备有关：即智能手机、智能手表和耳塞。身体姿态估计系统从捕捉初始数据开始。在处理运动检测时，有必要分析一系列图像而不是静态照片。不同的软件模块负责跟踪二维关键点、创建身体表征并将其转换为三维空间。另一方面，动作识别是一种分析估计姿势数据序列的方法，目的是将序列归类。它被广泛应用于各个领域。其中一个广为人知的用例是利用监控摄像头的视频分析和检测潜在的非法行为攻击。另一个用例涉及姿势序列分析，目的是创建虚拟教练环境。具体来说，我们的研究将以这一具有挑战性的问题为目标，旨在为移动设备创建这一环境。我们将介绍一些适合在移动设备上有效进行姿势估计和动作识别的解决方案。我们将展示如何利用基于卷积神经网络的轻量级模型来有效解决姿势估计问题，并利用动态时间扭曲算法来解决动作识别问题。