攻克视频生成难题！合工大、清华、智谱开源「多图像参考生视频」框架Kaleido

本文针对多主体参考视频生成任务中的主体一致性和背景解耦难题展开研究。背景方面，现有开源S2V模型在多主体场景中难以保持主体一致性且无法有效解耦背景信息。研究目的旨在通过提出Kaleido框架解决这些问题，该框架创新性地构建了高质量多样化数据流水线，引入Reference Rotary Positional Encoding条件注入机制，并采用两阶段训练策略。实验结论表明，Kaleido在主体一致性得分达0.723，背景解耦得分0.319，在美学质量和运动平滑性方面均达到开源模型最优水平，用户研究也证实其综合表现优于现有方法。