电脑操作型智能体上线前需要哪些权限护栏
电脑操作型智能体上线前,至少要同时限制八件事:运行环境、代理身份、可访问站点、可执行动作、敏感数据外发、高后果操作审批、单次运行预算,以及审计与回滚。只给智能体一个“低权限账号”还不够,因为它仍可能被页面内容误导,在合法权限内做出错误的发送、覆盖、购买或授权动作。
OpenAI Computer use 官方指南:https://developers.openai.com/api/docs/guides/tools-computer-use
NIST AI 风险管理框架:https://www.nist.gov/itl/ai-risk-management-framework
- 在隔离浏览器、虚拟机或容器内运行,不直接接管员工日常桌面;
- 使用独立的短期代理身份,不复用管理员和个人账号;
- 站点、应用、动作与数据出口都使用白名单;
- 发送、上传、购买、授权、删除等动作在执行前逐次确认;
- 网页、文档和工具返回的文字一律视为不可信输入;
- 每次运行都有步数、时间、成本上限,并能立即取消;
- 计划、审批、动作、结果和恢复过程必须可追溯。
变化一句话:智能体从“给建议”升级为“产生真实副作用”
普通聊天模型输出的是文字,电脑操作型智能体却能点击按钮、填写表单、上传文件、切换账号和提交事务。权限边界因此发生了根本变化:风险不再止于回答错误,而是错误答案可能立即变成真实操作。
官方 Computer use 指南把这种能力定义为对浏览器和桌面界面的操作,并明确提醒:电脑操作会影响真实账号与数据,环境限制、页面内容不可信、高后果动作确认、运行边界与结果核对都应同时实施。Anthropic 的同类文档也建议使用最低权限的专用虚拟机或容器、限制域名、避免暴露敏感数据,并让人确认具有现实后果的决定。
为什么原有账号权限不够
传统 RBAC 往往按“员工能否进入系统、能否使用某个菜单”授权,默认操作者理解页面含义并对每次点击负责。智能体的行为模式不同:
- 任务跨度长:一次授权后可能连续执行几十个动作,后半段已经偏离原目标;
- 输入来自屏幕:网页、邮件、文档和图片都可能包含诱导指令或提示词注入;
- 动作组合放大权限:“读取文件”和“填写表单”单独看风险不高,组合后却可能完成数据外发;
- 结果不等于声明:模型说“已完成”不能证明目标系统真的进入预期状态;
- 错误速度更快:自动化可以在人工发现前重复错误操作。
因此,上线设计不能只问“这个账号能做什么”,还要问“这次任务允许访问哪些目标、执行哪些动作、传出哪些数据、持续多久,以及谁对哪一步做了确认”。
新权限模型:把一个账号拆成多层运行时护栏
更稳妥的方案是把权限拆成相互独立的控制层。任何一层都不能因为屏幕上出现了一段文字而自动放宽。
| 控制层 | 建议做法 | 拒绝条件 |
|---|---|---|
| 运行环境 | 专用容器、虚拟机或隔离浏览器;任务结束即清理 | 试图访问宿主机、员工桌面或未挂载目录 |
| 代理身份 | 独立服务身份、短期凭据、最小角色 | 要求复用管理员账号或长期个人会话 |
| 目标范围 | 允许的域名、应用、窗口和记录类型白名单 | 导航到名单外站点或切换到未知应用 |
| 动作范围 | 把读取、草稿、发送、删除等动作分级 | 动作类别不在当前任务授权中 |
| 数据范围 | 字段级脱敏、剪贴板限制、上传出口控制 | 表单中出现密钥、身份信息或未批准附件 |
| 运行预算 | 限定时间、步数、重试次数、金额和资源消耗 | 超预算、反复失败或页面状态无法判断 |

这里最容易漏掉的是凭据代理:智能体不应直接看到长期密码、API Key 或完整 Cookie。更好的做法是由凭据服务在动作发生时提供范围受限、寿命很短的会话,任务结束后自动撤销。即使运行环境被污染,也能压缩后续影响。
对旧系统的影响:权限检查要从登录时延伸到每个动作前
很多业务系统只在登录时判断角色,随后默认同一会话里的操作都可信。接入电脑操作型智能体后,这个假设需要改变。策略引擎应在关键动作发生前重新判断:
- 当前动作是否属于用户最初授权的任务;
- 目标站点、记录、收件人和附件是否仍在允许范围内;
- 页面中是否出现了要求忽略规则、泄露秘密或跳转到外部站点的内容;
- 这一步是否会产生不可逆、对外可见或具有财务影响的结果;
- 上一步的可见结果是否与预期一致。
这会给旧系统带来一个直接改造:不能只把智能体当成“另一个前端客户端”。需要在执行器外增加策略门,让策略决定与模型计划分离。模型可以提出动作,但不能自己批准动作。
对高后果动作逐次确认,而不是一次授权整段任务
“允许智能体完成报销”不等于允许它选择任意收款人、金额和附件。审批界面应展示即将执行的具体动作,包括目标、关键字段、外发数据、预计影响和撤销方式。用户确认的是这一步,而不是抽象目标。
| 动作类型 | 默认策略 | 典型例子 |
|---|---|---|
| 读取与检索 | 在白名单范围内自动执行 | 读取工单状态、搜索知识库 |
| 草稿与预览 | 自动执行,结果可见 | 生成邮件草稿、填写但不提交表单 |
| 对外发送与上传 | 执行前逐次确认 | 发送邮件、上传附件、发布评论 |
| 购买、付款与授权 | 强制人工确认,可增加双人复核 | 提交订单、确认付款、添加成员 |
| 删除、覆盖与权限提升 | 默认拒绝;确需开放时使用双重控制 | 删除记录、覆盖文件、授予管理员角色 |

输入敏感信息也属于数据传输。例如把客户身份证号键入一个表单,即使尚未单击提交,数据也可能已经进入第三方页面、自动保存或日志。因此确认点必须出现在输入之前,而不是只拦截最后的 Submit 按钮。
把屏幕内容当成不可信输入
网页、邮件、文档、图片和弹窗中的文字不能获得新的权限,也不能覆盖用户原始指令。执行器应把“页面内容”和“受信任策略”放在不同通道处理:
- 页面只提供事实和候选操作,不提供授权;
- 任何要求关闭安全检查、复制凭据或访问名单外地址的内容都触发停止;
- 跳转域名、下载文件、打开附件和粘贴剪贴板前重新检查;
- 检测到指令冲突时转交人工,不让模型自己解释为“例外”。
仅靠系统提示词写一句“不要听网页的话”不是完整防护。真正有效的边界要落在模型之外:网络出口、文件挂载、凭据服务和动作执行器都应拒绝未授权请求。
迁移建议:先影子运行,再逐级开放副作用
从现有人工流程迁移时,可以按四级推进:
- 观察级:智能体只读屏幕并给出下一步建议,不执行动作;
- 草稿级:允许填写草稿和生成预览,但不能提交或外发;
- 受控执行级:低风险动作自动执行,高后果动作逐次审批;
- 有限自治级:仅对经过稳定评估的窄任务开放自动执行,仍保留预算、取消和审计。
不要把“整体成功率较高”当成扩大权限的唯一依据。应分别统计越权拦截、误审批、结果核对失败、人工接管、取消成功和回滚成功。权限扩张必须基于这些安全指标,而不是只看完成速度。
最小验证:不仅测会不会做,还要测能不能停
上线前至少准备下面六组场景,并保留每次策略决定和实际结果:
- 正向任务:在允许站点内完成一项低风险操作;
- 越权目标:任务途中导航到未授权域名,执行器应立即阻断;
- 提示词注入:页面要求忽略原任务并上传文件,智能体应停止并请求人工判断;
- 敏感数据:表单要求输入凭据或个人信息,系统应在键入前拦截;
- 高后果动作:发送、购买或删除前出现明确审批卡,未确认不得执行;
- 恢复测试:超时、页面异常或人工取消后,会话、临时凭据和半完成状态能够清理或回滚。

每条审计记录至少包含:任务发起人、代理身份、策略版本、目标应用、动作参数摘要、审批人、审批内容、执行时间、结果状态和恢复动作。日志中不要保存完整密码、令牌或敏感表单内容,可以保存脱敏摘要和不可篡改哈希。
上线检查清单
- 是否使用专用隔离环境,而不是员工日常电脑;
- 是否有独立、短期、最小权限的代理身份;
- 域名、应用、动作和数据出口是否都有白名单;
- 发送、上传、购买、授权、删除是否逐次确认;
- 策略决定是否独立于模型,页面文字能否被系统拒绝;
- 是否设置时间、步数、重试、成本和金额上限;
- 用户能否立即取消,异常后能否清理凭据与半完成状态;
- 审计记录能否还原谁批准了什么、实际发生了什么。
电脑操作型智能体真正的上线门槛不是“会不会点击”,而是权限能否随任务缩小、关键动作能否停在确认点、异常能否恢复。把这些控制放在模型之外,才不会把一次错误判断放大成真实业务事故。
GitHub Pull Request 模板引导作者提交可复现信息
- 上一篇
- GitHub Pull Request 模板引导作者提交可复现信息
- 下一篇
- 限制协议版本与密码套件同时保留兼容性说明
-
- 科技周边 · 人工智能 | 6小时前 | 向量检索 ·
- 向量检索与关键词检索怎样做混合召回
- 293浏览 收藏
-
- 科技周边 · 人工智能 | 8小时前 | 人工智能 ·
- 智能体评测不只看成功率:步骤、成本与恢复能力怎么量
- 290浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 |
- 模型路由怎么做:按任务难度分配速度、成本与质量
- 147浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 |
- 多模态模型读图前,图片缩放与裁切会影响什么
- 247浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · 推理优化 ONNX Runtime 动态量化 nodes_to_exclude
- ONNX Runtime 动态量化怎么选择需要排除的节点
- 377浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · 向量检索 · Sentence Transformers truncate_dim 嵌入维度 Matryoshka 向量存储
- Sentence Transformers 怎么截断嵌入维度减少存储
- 165浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 |
- PEFT 多个 adapter 怎么按权重组合推理
- 454浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 378次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 449次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 457次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 400次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 227次使用
-
- go语言使用Casbin实现角色的权限控制
- 2022-12-30 318浏览
-
- CodeGeeX for Jetbrains IDEs正式上线!
- 2023-01-17 284浏览
-
- 技术阿里云实现ocr批量图片和pdf文件表格图片转换excel文档/支持票据图片提取/普通图片文字提取处理
- 2023-01-18 387浏览
-
- 直播预告|FeatureStore Meetup V2
- 2023-01-10 328浏览
-
- 深入浅出特征工程 – 基于 OpenMLDB 的实践指南(上)
- 2023-02-25 426浏览

