当前位置:首页 > 文章列表 > 科技周边 > 业界新闻 > Google 红队如何应对智能体攻击:从人工演练到自主攻击验证的变化

Google 红队如何应对智能体攻击:从人工演练到自主攻击验证的变化

来源:17golang原创 2026-08-24 21:42:06 0浏览 收藏

早些年做红队演练,常规流程是人工找漏洞入口、手动串联权限链路,最后再由安全工程师整理复现方案跟进修复。Google 最近公开聊到智能体安全相关的实践时,点出了一个很实际的变化:AI 不单单能帮防守侧提升效率,也可能被攻击者用来自动执行一连串连贯的攻击动作。对安全团队来说,没必要去追什么性能拉满的“最强攻击智能体”,核心是把原本单次的人工演练,改成一套可重复跑、支持回归校验的标准化验证流程。

要点速览
  • 智能体带来的变化,首先是攻击路径可以被连续编排,红队不能只验单点漏洞。
  • 验证要分成发现、复现、修复、回归四段,每段都留下输入、权限和结果证据。
  • 自动化动作必须放进隔离环境,生产系统仍要保留人工批准、停止条件和回滚入口。

Google 这次讨论的变化,究竟落在哪一层

Google 的安全团队把红队的核心任务概括为提前应对真实攻击者可能采用的新手段。变化在于,攻击者拿到新的AI工具后,攻击动作可能不再是单次命令、单次请求,而是交给智能体在多个步骤之间自主判断、持续执行。与此同时,防守方也能用 AI 做更快的日志检索、异常分析和测试验证。

这也不是说“人工红队就没用了”。人工判断仍然要负责确认攻击的实际影响、作用边界和业务层面的语义逻辑;真正需要升级的是验证的对象:从单个漏洞能不能利用,扩展到一条带身份、带工具调用、带数据访问权限的完整路径能不能被全程走通。

先把人工演练改成一条可复现路径

在测试环境里,先不要让智能体直接触碰生产账号。提前准备好一组脱敏的模拟资产:一个普通用户账号、一个低权限服务账号、一个模拟内部API服务,以及一份完全不含真实个人信息的测试数据集。智能体的每个动作都要记录请求时间、调用工具、当前持有的权限和返回结果。

下面这张表可以用来排查一次演练是不是还停留在“只看到了告警提示”的浅层次。

验证阶段要记录的实体通过标准
发现入口、身份、工具、数据对象能明确说清攻击从哪里开始触发
复现请求序列、权限变化、返回证据隔离环境中可以重复得到同一结果
修复策略、代码或凭据变更修复点能完全对应到原始攻击路径
回归原路径、相邻路径、停止信号对应风险等级下降且没有额外扩大测试权限

智能体验证最容易漏掉的三个边界

连续动作不等于连续授权

智能体可以连续发起动作请求,不代表它可以连续自动拿到更高权限。每次操作要跨账户、跨工具或者跨数据域的时候,都要重新做授权校验。把一整条长链路拆成多个短会话,反而更容易定位到底是哪一步出了越权问题。

能复现不等于能证明影响

单条异常输出只能说明系统当前行为值得进一步排查。要确认实际影响,还要同步记录被访问的对象、实际拿到的权限和对应的业务后果。测试产生的数据要支持一键撤销,留存的证据要脱离智能体的自然语言解释也能单独复核。

自动化不等于可以取消停止条件

智能体一旦进入循环执行状态,最先要处理的不是给它开放更大的工具权限,而是先明确资源配额、时间上限和人工确认节点。出现异常数据访问、意外权限升级或者动作明显偏离预期时,先暂停整条链路,再慢慢排查原因。

Google 智能体安全红队从人工入口排查转向连续攻击路径验证的阶段对比图

用四段闭环验收一次防守改动

修复完成后,按“发现—复现—修复—回归”的顺序重新完整走一遍流程。这里不要只跑之前测过的原始案例:至少要补测一条相邻路径,比如用同一个身份换另一个工具尝试,或者用同一个工具换另一个数据对象尝试。这样才能判断你修复的是根因,还是只挡住了演示里刚好触发的那一个请求。

  1. 发现:确认入口、身份和可用工具,提前写下预期的最小权限范围。
  2. 复现:在隔离环境复现原始路径,保留最短动作序列和全部证据。
  3. 修复:调整权限配置、输入校验规则、工具调用边界或者监控规则,同步标出对应责任人。
  4. 回归:重跑原路径和相邻路径,确认告警、阻断逻辑和正常业务流程都符合预期。
智能体攻击安全验证的发现复现修复回归闭环与人工停止点

团队现在可以观察哪些信号

如果要把这类行业变化落地成日常可执行的工程动作,可以每周跟进四组指标:一条攻击路径平均包含多少个动作、会跨越多少个权限边界、从发现漏洞到复现完整链路花了多久、修复之后相邻路径还有多少没覆盖到。这些指标的价值不是为了凑出好看的数字,而是用来暴露当前验证是不是只覆盖了零散的单点漏洞。

安全团队还要保留一份“不可自动化清单”:真实凭据使用、生产环境数据写入、外部通知发送、资金或系统权限变更这类操作,全部要求人工确认之后才能执行。红队可以靠自动化工具自动生成测试方案,但最终的操作放行权不能随便交给模型生成的自动动作链。

相关问题

智能体攻击会取代传统红队吗?

不会。它更像是用来扩大测试覆盖面的工具,人工仍然要负责判断业务影响、授权边界和修复优先级。

小团队没有智能体平台怎么办?

先把之前的人工演练记录整理成可重复执行的最短动作序列,再补全身份、工具、数据和结果这些字段。流程理清楚之后,要不要接入自动化工具才有明确的对比依据。

如何避免把演练变成真实攻击?

全程使用脱敏数据和隔离账号,设置动作配额、时间上限、人工批准点和一键停止入口,并把生产写入与外部通知这类操作设为默认禁止。

总结

Google 讨论智能体时代的红队变化,值得关注的点不是一句“攻击速度变快”,而是验证对象更长了、动作链路更连贯了。把演练拆成可复现的路径,再用发现、复现、修复、回归四段流程做闭环验收,团队才能分清已验证的事实、合理推断和风险边界,也不会因为引入自动化就放弃必要的人工控制。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
RAG 检索结果为什么重复:chunk overlap、MMR 与证据合并的排查方法RAG 检索结果为什么重复:chunk overlap、MMR 与证据合并的排查方法
上一篇
RAG 检索结果为什么重复:chunk overlap、MMR 与证据合并的排查方法
Java 并行流为什么不一定更快:ForkJoinPool 基线与压测边界
下一篇
Java 并行流为什么不一定更快:ForkJoinPool 基线与压测边界
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    386次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    468次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    475次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    415次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    242次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码