不更新参数就能强化学习！OpenAI翁家翌提出新范式：决策只需AI手搓一个.py文件

背景：传统深度强化学习依赖神经网络参数更新，存在灾难性遗忘、决策黑箱和样本效率低下等核心瓶颈。研究目的：OpenAI研究员翁家翌提出一种不更新参数的全新强化学习范式——启发式学习（HL），旨在通过将决策逻辑迁移至离散程序空间，以代码编辑替代梯度下降，解决上述问题。结论：HL通过显式符号规则实现决策，在Atari游戏测试中达到Breakout满分，并在MuJoCo连续控制任务中取得与PPO等算法持平甚至更优的表现。该方法具有可解释、抗遗忘和高效率等特性，但无法处理ImageNet等原始像素任务。未来方向在于将HL与神经网络融合，攻克在线学习与持续学习难题。