解放双手！OSCAR让操作系统交互实现自然语言「自由」

珍惜时间，勤奋学习！今天给大家带来《解放双手！OSCAR让操作系统交互实现自然语言「自由」》，正文内容主要涉及到等等，如果你正在学习科技周边，或者是对科技周边有疑问，欢迎大家关注我！后面我会持续更新相关内容的，希望都能帮到正在学习的大家！

AIxiv专栏：蒙特利尔大学Mila研究所开源OSCAR，实现跨平台桌面UI自动化

AIxiv专栏长期关注人工智能领域前沿技术，已发表2000多篇来自全球顶尖高校和企业的学术及技术文章。如果您有优秀成果，欢迎投稿或联系报道 (liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com)。

本文作者王晓强，加拿大蒙特利尔大学和Mila人工智能研究所博士生，师从刘邦教授，主要研究方向为自然语言处理，专注于大语言模型能力评估及其在智能体中的应用，并在ACL、EMNLP等顶级会议发表多篇论文。

通用人工智能（AGI）是人工智能研究的终极目标，旨在构建具备人类般广泛灵活智能的系统。实现AI与数字世界的有效交互至关重要，而桌面任务UI自动化是关键领域。

想象一下，只需语音指令，电脑就能自动完成复杂操作，这将极大提升效率。Anthropic的Computer use和OpenAI的Computer Using Agent（CUA）已取得突破，但它们依赖商用API。

蒙特利尔大学和Mila研究所的研究团队推出了开源解决方案OSCAR（Operating System Control via state-Aware reasoning and Re-Planning），它实现了跨平台（Windows、Ubuntu、Android）的桌面任务UI自动化，并已被ICLR录用。

挑战与创新：

基于多模态大型语言模型（MLLM）的智能体在自动化领域表现出色，但其通用性差，难以适应复杂工作流和动态变化的UI环境。构建通用UI交互智能体面临以下挑战：统一控制接口、UI元素精准定位、以及对新UI环境的探索和重规划能力。

OSCAR的创新之处在于：

• 灵活状态机与动态重规划: OSCAR采用状态机架构（Init、Observe、Plan、Execute、Verify），并通过实时反馈进行动态重规划，提高效率和适应性。

• 视觉和语义双重UI定位: OSCAR结合Set-of-Mark（SoM）提示技术和可访问性（A11Y）树，并添加描述性标签，实现精准的UI元素定位。

• 任务驱动重新规划: OSCAR将用户指令分解为子任务，并根据反馈对特定子任务进行重规划，避免整体重规划，提高效率。
• 基于代码的动作: OSCAR利用元素ID或坐标，通过PyAutoGUI库生成控制代码，精确控制操作系统。

• 论文题目：OSCAR: Operating System Control via State-Aware Reasoning and Re-Planning
• 论文链接：https://arxiv.org/abs/2410.18963

实验结果：

OSCAR在GAIA、OSWorld、AndroidWorld等基准数据集上表现优异，在复杂任务上的成功率显著高于其他方法。其规划效率也更高，重新规划次数更少，且每次规划更有效率。

总结：

OSCAR凭借其灵活的状态机和动态重规划能力，为桌面和移动操作系统UI自动化提供了高效通用的解决方案，有望显著提升生产力，并开启操作系统交互新时代。其开源特性也方便开发者进一步改进和完善。

本篇关于《解放双手！OSCAR让操作系统交互实现自然语言「自由」》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！