颠覆微调认知：13 个参数让 7B 模型逼近全量微调

背景：传统大模型微调通常需要调整大量参数，而LoRA等适配器技术虽能减少参数，但仍未探底。研究目的：Meta FAIR等机构提出TinyLoRA方法，探索在强化学习（RL）加持下，用极少数参数（如13个）激活大模型的数学推理能力，逼近全量微调效果。结论：仅用13个参数（26字节），TinyLoRA在GRPO算法下使Qwen2.5-7B模型在GSM8K数学任务上准确率从76%升至91%，超越监督微调（SFT），且模型越大所需更新参数越少，表明微调更像是激活模型内在能力而非注入知识，为边缘计算和训练范式革新提供新思路。