当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > OWASP发布大语言模型网络安全与治理清单

OWASP发布大语言模型网络安全与治理清单

来源:51CTO.COM 2024-04-24 10:09:39 0浏览 收藏

小伙伴们对科技周边编程感兴趣吗?是否正在学习相关知识点?如果是,那么本文《OWASP发布大语言模型网络安全与治理清单》,就很适合你,本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点,希望对大家的知识积累有所帮助!

当前人工智能技术面临的最大风险是大语言模型(LLM)和生成式人工智能技术的发展和应用速度已经远远超过了安全和治理的速度。

OWASP发布大语言模型网络安全与治理清单

OpenAI、Anthropic、谷歌和微软等公司的生成式人工智能和大语言模型产品的使用正呈指数级增长。与此同时,开源大语言模型方案也在高速成长,HuggingFace等开源人工智能社区提供了大量开源模型、数据集和AI应用。

为了推动人工智能的发展步伐,OWASP、OpenSSF、CISA等行业组织正在积极开发和提供人工智能安全与治理关键资产,例如OWASP AI Exchange、AI安全和隐私指南以及大语言模型十大风险清单(LLMTop10)。

最近,OWASP发布了大语言模型网络安全与治理清单,填补了生成式人工智能安全治理的空白,具体内容如下:

OWASP对AI类型与威胁的定义

OWASP的语言模型网络安全与治理清单对人工智能、机器学习、生成式人工智能和大语言模型之间的区别给出了定义。

例如,OWASP对生成式人工智能的定义是:一种专注于创建新数据的机器学习,而大语言模型是一种用于处理和生成类人类产生的“自然内容”的人工智能模型——它们根据所提供的输入进行预测,并且输出是类似人类产生的“自然内容”。

关于之前发布的“大语言模型十大威胁清单”,OWASP认为它可帮助网络安全从业者跟上快速发展的AI技术,识别关键威胁并确保企业拥有基本的安全控制措施来保护和支持使用生成式人工智能和大语言模型的业务。然而OWASP认为该清单并不详尽,并且需要根据生成式人工智能的发展不断完善。

OWASP将AI安全威胁分为以下五种:

OWASP发布大语言模型网络安全与治理清单

OWASP的大语言模型安全治理策略部署分为六步:

OWASP发布大语言模型网络安全与治理清单

以下是OWASP大语言模型网路安全与治理清单:

1.对手风险

大语言模型的对手风险不仅涉及竞争对手,还涉及攻击者,其关注点不仅是攻击态势,还包括商业态势。这包括了解竞争对手如何使用人工智能来推动业务成果,以及更新内部流程和政策(例如事件响应计划(IRP)),以应对生成式人工智能攻击和事件。

2.威胁建模

威胁建模是一种日益流行的安全技术,随着安全设计系统理念的推广而获得越来越多的关注,得到了美国网络安全和基础设施安全局(CISA)等权威机构的认可。威胁建模需要思考攻击者如何利用大型语言模型和生成式人工智能来加速漏洞利用,企业检测恶意大型语言模型的能力,以及组织是否能够保护大型语言模型和生成式人工智能平台与内部系统和环境的连接。

3.人工智能资产清单

“你无法保护未知的资产”这句格言也适用于生成式人工智能和大语言模型领域。OWASP清单的这部分内容涉及对内部开发的人工智能解决方案以及外部工具和平台进行人工智能资产清单编制。

OWASP强调,企业不仅要了解内部使用了哪些工具和服务,还要了解其所有权,即谁对这些工具和服务的使用负责。清单还建议将人工智能组件包含在软件材料清单(SBOM)中,并记录人工智能数据源及其各自的敏感性。

除了对现有人工智能工具进行清单编制之外,企业还应该建立一个安全流程将未来的AI工具和服务添加到清单中。

4.人工智能安全和隐私意识培训

人们常说“人是最大的安全漏洞”,企业只有将人工智能安全和隐私培训合理集成到其生成式人工智能和大语言模型的应用过程中,才能极大缓解人的风险。

这包括帮助员工了解现有生成式人工智能/大语言模型计划、技术及其功能,以及关键的安全注意事项,例如数据泄漏。此外,建立信任和透明的安全文化至关重要。

企业内部的信任和透明文化也有助于避免影子AI威胁,否则,员工将“偷偷“使用影子AI而不告诉IT和安全团队。

5.人工智能项目的商业论证

就像云计算一样,大多数企业实际上并没有为生成式人工智能和大语言模型等新技术应用制定连贯的战略性商业论证,很容易盲目跟风,陷入炒作。没有合理的商业论证,企业的人工智能应用很可能会产生糟糕结果并增加风险。

6.治理

没有治理,企业就无法建立人工智能的责任机制和明确目标。OWASP清单建议企业为人工智能应用制定RACI图表(责任分配矩阵),记录并分配风险责任和治理任务,建立全企业范围的人工智能政策和流程。

7.法律

随着人工智能技术的飞速发展,其法律影响不容低估,并可能在给企业带来财务和声誉的重大风险。

人工智能法务涉及一系列活动,例如人工智能产品质保、人工智能最终用户许可协议(EULA)、使用人工智能工具开发的代码的所有权、知识产权风险和合同赔偿条款等。简而言之,请确保企业的法律团队或专家了解企业使用生成式人工智能和大语言模型时应该开展的各种配套法律活动。

8.监管

人工智能监管法规也在迅速发展,例如欧盟的人工智能法案,其他国家和地区的法规也将很快出台。企业应该了解所在国家的人工智能合规要求,例如员工监控,并清楚地了解其人工智能供应商如何存储和删除数据以及如何监管其使用。

9.使用或实施大语言模型解决方案

使用大型语言模型解决方案需要考虑特定的风险和控制措施。OWASP清单列出了诸如访问控制、训练管道安全、映射数据工作流以及了解大型语言模型模型和供应链中存在的或潜在的漏洞等项目。此外,还需要对供应商进行第三方审计、渗透测试甚至代码审查,这些工作既要初始进行,也要持续进行。

10.测试、评估、验证和确认(TEVV)

TEVV流程是NIST在其人工智能框架中特别推荐的流程。这涉及在整个人工智能模型生命周期中建立持续的测试、评估、验证和验证,以及提供有关人工智能模型功能、安全性和可靠性的执行指标。

11.模型卡和风险卡

为了合乎道德地部署大语言模型,OWASP清单要求企业使用模型和风险卡,这些卡可用于让用户理解和信任人工智能系统,并公开解决偏见和隐私等潜在的负面后果。

这些卡片可以包含模型详细信息、架构、训练数据方法和性能指标等项目。还强调考虑负责任的人工智能所需要考虑的因素以及对公平和透明度的关注。

12RAG:大语言模型优化

检索增强生成(RAG)是一种优化大语言模型从特定来源检索相关数据能力的方法。它是优化预训练模型或根据新数据重新训练现有模型提高性能的方法之一。OWASP建议企业实施RAG,以最大限度地提高大语言模型的价值和有效性。

13.AI红队

最后,OWASP清单强调了人工智能红队的重要性,后者模拟人工智能系统的对抗性攻击,以识别漏洞并验证现有的控制和防御。OWASP强调,红队应该是生成式人工智能和大语言模型的综合安全解决方案不可或缺的一部分。

值得注意的是,企业还需要清楚地了解外部生成式人工智能和大语言模型供应商的红队服务和系统要求与能力,以避免违反政策,甚至陷入法律麻烦。

到这里,我们也就讲完了《OWASP发布大语言模型网络安全与治理清单》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于人工智能,大语言模型的知识点!

版本声明
本文转载于:51CTO.COM 如有侵犯,请联系study_golang@163.com删除
Vue3怎么将组件手动渲染到指定元素中Vue3怎么将组件手动渲染到指定元素中
上一篇
Vue3怎么将组件手动渲染到指定元素中
Redis使用长连接有什么好处
下一篇
Redis使用长连接有什么好处
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    508次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • AI Make Song:零门槛AI音乐创作平台,助你轻松制作个性化音乐
    AI Make Song
    AI Make Song是一款革命性的AI音乐生成平台,提供文本和歌词转音乐的双模式输入,支持多语言及商业友好版权体系。无论你是音乐爱好者、内容创作者还是广告从业者,都能在这里实现“用文字创造音乐”的梦想。平台已生成超百万首原创音乐,覆盖全球20个国家,用户满意度高达95%。
    7次使用
  • SongGenerator.io:零门槛AI音乐生成器,快速创作高质量音乐
    SongGenerator
    探索SongGenerator.io,零门槛、全免费的AI音乐生成器。无需注册,通过简单文本输入即可生成多风格音乐,适用于内容创作者、音乐爱好者和教育工作者。日均生成量超10万次,全球50国家用户信赖。
    7次使用
  •  BeArt AI换脸:免费在线工具,轻松实现照片、视频、GIF换脸
    BeArt AI换脸
    探索BeArt AI换脸工具,免费在线使用,无需下载软件,即可对照片、视频和GIF进行高质量换脸。体验快速、流畅、无水印的换脸效果,适用于娱乐创作、影视制作、广告营销等多种场景。
    6次使用
  • SEO标题协启动:AI驱动的智能对话与内容生成平台 - 提升创作效率
    协启动
    SEO摘要协启动(XieQiDong Chatbot)是由深圳协启动传媒有限公司运营的AI智能服务平台,提供多模型支持的对话服务、文档处理和图像生成工具,旨在提升用户内容创作与信息处理效率。平台支持订阅制付费,适合个人及企业用户,满足日常聊天、文案生成、学习辅助等需求。
    13次使用
  • Brev AI:零注册门槛的全功能免费AI音乐创作平台
    Brev AI
    探索Brev AI,一个无需注册即可免费使用的AI音乐创作平台,提供多功能工具如音乐生成、去人声、歌词创作等,适用于内容创作、商业配乐和个人创作,满足您的音乐需求。
    14次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码