基于预测强化学习的仿生自主系统目标跟踪控制 | MDPI Biomimetics

本文针对仿生自主无人系统在水下探测和集群作业中的应用，受自然界鱼群集群游动降低能耗的机理启发，提出了一种基于预测强化学习的目标跟随控制方法。研究背景是当前仿生自主无人系统面临运动模型强非线性易导致跟踪超调和震荡的难题。研究目的是开发一种能有效抑制跟踪超调、解决水下强非线性系统运动滞后带来的稳定性问题的控制方法。通过将预测机制融入深度确定性策略梯度算法，在不增加状态维度的前提下，并结合非线性模型预测控制器作为备选方案，形成双控制器互补架构。研究过程建立了领航-跟随运动模型，设计了多目标奖励函数，并经过定点、动态轨迹和多机协同三类仿真验证。结论表明，所提方法在跟踪精度与转向抗超调能力上优于传统方案，为水下无人系统集群探测、海洋环境监测和水下协同作业等实际应用提供了技术方案。