OS-Genesis来了，自动收集和标注Agent数据，高效且多样

在IT行业这个发展更新速度很快的行业，只有不停止的学习，才不会被行业所淘汰。如果你是科技周边学习者，那么本文《OS-Genesis来了，自动收集和标注Agent数据，高效且多样》就很适合你！本篇内容主要包括##content_title##，希望对大家的知识积累有所帮助，助力实战开发！

机智客AIxiv专栏持续发布前沿学术与技术内容。多年来，已报道2000余篇来自全球顶尖高校和企业实验室的成果，有力推动学术交流与传播。欢迎优秀研究者投稿或联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

共同一作孙秋实，香港大学博士生，新加坡国立大学硕士毕业，研究方向涵盖LLM Agents和神经代码智能。共同一作金川杨，约翰霍普金斯大学博士生，纽约大学专业第一毕业，其开发的心智能力测试MMToM-QA荣获ACL 2024杰出论文奖。上海人工智能实验室吴志勇团队此前已发布OS-Copilot、OS-Atlas、SeeClick等系列成果。

• 论文题目：OS-Genesis：基于逆向任务合成自动构建GUI Agent轨迹
• 项目地址：https://qiushisun.github.io/OS-Genesis-Home/
• 研究机构：上海人工智能实验室，香港大学，上海交通大学，约翰霍普金斯大学，牛津大学，香港科技大学

1. 研究背景与动机

高效的数字代理需要具备两项关键能力：（1）规划能力：将高级指令分解成可执行的子目标；（2）执行能力：根据当前目标执行相应操作。

高质量GUI代理的构建依赖于丰富的GUI轨迹数据，但此类数据极其稀缺，成为该领域的核心挑战。典型的GUI轨迹数据包含：

• 高级指令：例如，“将Broccoli应用中的‘Avocado Toast with Egg’添加到收藏夹”。
• 低级指令：例如，“点击‘Avocado Toast with Egg’查看更多选项”。
• 动作：例如，“CLICK [Avocado Toast with Egg]”。
• 状态：动作前后界面截图及GUI的a11ytree结构。

现有轨迹数据采集方法依赖人工标注或基于预定义任务的合成数据，存在局限性：

• 人工采集成本高昂：需要手动设计指令并记录每一步操作。
• 合成数据局限性：基于模型生成的轨迹数据依赖预定义任务，限制了数据多样性，且容易与真实环境脱节。

因此，高效低成本地构建GUI Agent轨迹数据至关重要。为此，本文提出OS-Genesis：一个无需人工监督的高质量GUI数据合成框架。

2. OS-Genesis框架

OS-Genesis的核心思想是通过探索性地交互GUI环境，捕捉动作及其前后状态变化。

然后，基于这些变化逆向生成高质量的低级指令（例如，“点击Calendar应用”），并根据环境推导出高级指令（例如，“添加日程：阅读本站文章”）。模型执行这些合成指令，无需人工干预和预定义任务，实现高效多样化的GUI轨迹数据生成。具体方法如下：

2.1 逆向任务合成

逆向任务合成是OS-Genesis的核心，它摆脱了对人工/机器预定义任务的依赖。流程如下：

• 动作记录与状态捕捉: 系统性地执行基本动作（CLICK、TYPE、SCROLL等），生成大量三元组数据〈状态前，动作，状态后〉 (〈spre, action, spost〉)。
• 低级指令生成: 利用GPT-4模型将三元组转换为低级指令，例如将“点击下拉菜单以显示选项”。
• 高级任务生成: 结合低级步骤和GUI环境，生成高级指令，例如，“配置应用程序设置”。

2.2 轨迹构建与奖励模型

逆向任务合成生成的高级指令用于探索GUI环境，构建完整轨迹数据。奖励模型（Trajectory Reward Model, TRM）评估和筛选轨迹质量：

• 轨迹执行: GUI agent执行一系列动作完成任务，轨迹包含高级指令、低级指令、动作序列和状态信息。
• 轨迹奖励模型（TRM）: 根据完成度和一致性分配奖励分数。
• 奖励驱动的数据筛选: 高奖励分数的轨迹优先用于模型训练。

3. 实验结果

本文在动态环境（AndroidWorld、AndroidControl和WebArena）中进行了实验，评估OS-Genesis合成数据训练的agent性能。

3.1 模型与基线

• VLMs: InternVL2-4B/8B, Qwen2-VL-7B-Instruct, GPT-4o (作为强基线)
• 基线: Zero-Shot, Task-Driven, Self-Instruct

3.2 移动端实验结果

在AndroidWorld（域内实验）中，OS-Genesis显著提升了任务成功率。在AndroidControl（域外实验）中，OS-Genesis在高阶和低阶任务中均表现出色，展现了强泛化能力。

3.3 Web端实验结果

在WebArena中，OS-Genesis也显著优于基线方法，尤其在复杂交互式网页任务中。

4. 数据分析

本文将OS-Genesis生成的数据与人工标注数据进行了对比分析，包括高阶指令和完整轨迹对比。结果表明，OS-Genesis显著缩小了合成数据与人工标注数据之间的性能差距。

5. 总结与展望

OS-Genesis为构建GUI Agent提供了一种全新的方法，克服了以往数据构建中的关键瓶颈。实验结果证明了其在构建高质量GUI Agent上的有效性，为数字世界自动化提供了新的方向。

今天关于《OS-Genesis来了，自动收集和标注Agent数据，高效且多样》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！