比二维码还小！Meta发布TinyLoRA：13个参数媲美全量，RL完胜SFT

背景：大型语言模型微调通常需要调整大量参数，LoRA等方法虽减少了参数量，但Meta等机构的研究认为仍有压缩空间。研究目的：探索在强化学习框架下，使用极少数参数（如13个）微调大模型（如Qwen2.5-7B-Instruct）以激活其数学推理能力的极限。结论：提出的TinyLoRA方法通过将矩阵替换为低维向量、跨层全共享参数等激进策略，将参数复杂度降至极低；在GSM8K等数学任务上，仅用13个参数（26字节）结合GRPO强化学习算法，性能逼近全量微调，准确率从76%提升至91%，显著优于监督微调（SFT）；研究还发现模型越大，达到特定性能所需更新参数越少，支持了微调是“能力激活”而非“知识注入”的假说，为边缘计算的微型补丁和训练范式从SFT转向RL提供了启示。