北大团队提出SHINE：将任意文本转化为大模型LoRA，仅需一次前向传播！

背景：本文介绍了北京大学团队提出的SHINE超网络架构，该架构能够将任意文本通过一次前向传播转化为大语言模型的LoRA参数，从而将文本知识内化到模型参数中，支持基于文本的多轮对话。研究目的：旨在解决大模型快速适配、持续学习、参数化记忆等热点问题，通过创新的超网络设计，提升生成LoRA参数的效率和表达能力，克服现有方法在架构扩展性和任务复杂性上的限制。结论：实验表明，SHINE在文本重建、问答等任务上表现优异，接近或超过In-Context方法，同时大幅减少计算开销和时间消耗，展现了良好的规模化潜力和应用前景，为持续学习提供了新思路。