一句话生成LoRA、长文档瞬间内化：大模型更新成本还能这样摊销？

背景：Transformer架构在处理长序列时面临注意力计算二次方增长和KV-Cache显存占用高的瓶颈，同时监督微调（SFT）流水线也存在算力消耗大和时间延迟高的问题。研究目的：Sakana AI提出更新成本摊销框架，旨在通过元训练阶段的超网络，将权重更新和上下文处理开销前置，从而在推理阶段实现快速、低显存占用的任务适配和长文档处理。结论：Doc-to-LoRA能够将长文档即时内化为LoRA适配器，显著降低推理显存（如处理128K token时从12GB降至50MB以内），并实现亚秒级更新延迟；Text-to-LoRA则通过自然语言描述直接生成任务专属LoRA权重，在零样本任务自适应上性能优异。两者共同推动了高效、低延迟的模型部署，为AI Agent的发展奠定了基础。