不用人工标注,GUIAgent跑起「数据飞轮」:快手、浙大开源MobileForge
机器学习算法与自然语言处理
2026-07-11 00:06
文章摘要
本文介绍了一种针对手机GUI Agent的无标注适配方法MobileForge。背景:移动App数量庞大、更新频繁,传统适配方法需要人工编写任务、录制专家轨迹和标注奖励信号,成本高且难以扩展。研究目的:构建一个不依赖人工标注的闭环系统,让Agent在真实目标App中自探索、自生成任务、自反馈和自优化,从而降低适配成本并提升性能。结论:MobileForge由MobileGym(交互与评估底座,负责探索App、生成任务和分层评估)和HiFPO(层级反馈引导的策略优化,负责利用纠错提示和步骤级反馈进行训练)组成。实验表明,在AndroidWorld上,使用自动生成的无标注数据,MobileForge将通用模型Qwen3-VL-8B的Pass@3提升至67.2%,接近闭源数据训练的专用模型;将专用模型GUI-Owl-1.5-8B的Pass@3提升至77.6%,并在跨域测试中展现出泛化能力。消融实验验证了纠错提示、任务过滤和步骤级训练等组件的有效性。MobileForge实现了无需人工标注的“数据飞轮”,为手机GUI Agent的持续进化提供了新范式。
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。