分析师对ChatGPT安全在2023年发展状况的八个预测
欢迎各位小伙伴来到golang学习网,相聚于此都是缘哈哈哈!今天我给大家带来《分析师对ChatGPT安全在2023年发展状况的八个预测》,这篇文章主要讲到等等知识,如果你对科技周边相关的知识非常感兴趣或者正在自学,都可以关注我,我会持续更新相关文章!当然,有什么建议也欢迎在评论留言提出!一起学习!
人工智能开发商OpenAI公司最近发布的ChatGPT-4又震惊了世界,但它对数据安全领域意味着什么,目前还没有定论。一方面,生成恶意软件和勒索软件比以往任何时候都更容易。在另一方面,ChatGPT也可以提供一系列新的防御措施用例。

行业媒体最近采访了一些世界顶级的网络安全分析师,他们对2023年ChatGPT和生成式人工智能的发展进行了以下预测:
- ChatGPT将降低网络犯罪的门槛。
- 制作令人信服的钓鱼邮件将变得更容易。
- 企业将需要了解人工智能技术的安全专业人员。
- 企业将需要验证生成式人工智能输出的内容。
- 生成式人工智能将升级现有的威胁。
- 企业将定义对ChatGPT使用的期望。
- 人工智能将增强人类的能力。
- 企业仍将面临同样的原有威胁。
以下是网络安全分析师的一些预测。
1.ChatGPT将降低网络犯罪的门槛
McAfee公司高级副总裁兼首席技术官Steve Grobman表示,“ChatGPT降低了使用门槛,使在传统上需要投入高技能人才和大量资金的一些技术对任何可以访问互联网的人来说都是可以采用的。技术不熟练的网络攻击者现在有办法批量生成恶意代码。
例如,他们可以要求程序编写代码,生成发送给数百个人的短信,就像一个非犯罪的营销团队所做的工作那样。它不是将收件人引导到安全的网站,而是将他们带到一个带有恶意威胁的网站。虽然其代码本身并不是恶意的,但它可以用来传递危险的内容。
与各有利弊的任何新兴的技术或应用程序一样,ChatGPT也会被好人和坏人使用,因此网络安全社区必须对其被利用的方式保持警惕。”
2.制作令人信服的钓鱼邮件将变得更容易
麦肯锡公司合伙人Justin Greis表示,“从广义上来说,生成式人工智能是一种工具,就像所有工具一样,它可以用于美好的目的,也可以用于邪恶的目的。如今已经有许多用例被引用,威胁行为者和好奇的研究人员正在制作更有说服力的网络钓鱼电子邮件,生成恶意代码和脚本来发起潜在的网络攻击,甚至只是为了查询更好、更快的情报。
但对于每一起滥用案件,都将继续采取控制措施来对付它们。这就是网络安全的本质,这是一场永无止境的超越对手、超越防御者的竞赛。
与任何可能被用于恶意伤害的工具一样,企业必须设置护栏和保护措施,以保护公众不被滥用。在实验和利用之间有一条非常微妙的道德界限。”
3.企业将需要了解人工智能的安全专业人员
SANS研究所的SANS研究员David Hoelzer表示,“ChatGPT目前风靡全球,但就其对网络安全格局的影响而言,我们还仅仅处于起步阶段。这标志着分界线两边采用人工智能/机器学习的新时代的开始,与其说是因为ChatGPT可以做什么,不如说是因为它促使人工智能/机器学习成为公众关注的焦点。
一方面,ChatGPT可以潜在地用于社交工程的民主化,给予缺乏经验的威胁行动者新的能力,快速轻松地生成借口或骗局,并大规模部署复杂的网络钓鱼攻击。
另一方面,当涉及到创建新颖的攻击或防御时,ChatGPT的能力要弱得多。这并不是它的失败,而是因为人们要求它做一些没有接受过训练的事情。
这对安全专业人员意味着什么?我们可以安全地忽略ChatGPT吗?不能。作为安全专业人员,我们中的许多人已经测试过ChatGPT,看看它执行基本功能的效果。它能写出Pen测试方案吗?能写出网络钓鱼的借口吗? 如何帮助建立攻击基础设施和C2?到目前为止,其测试结果喜忧参半。
然而,更大的安全对话并不与ChatGPT有关。这是关于我们目前是否有了解如何构建、使用和解释人工智能/机器学习技术的安全角色。”
4.企业将需要验证生成式人工智能输出的内容
Gartner公司分析师Avivah Litan表示,“在某些情况下,当安全人员不能验证其输出的内容时,ChatGPT造成的问题将比它解决的问题更多。例如,它将不可避免地错过一些漏洞的检测,并给企业带来一种虚假的安全感。
同样,它也会错过被告知的对网络钓鱼攻击的检测,并提供不正确或过时的威胁情报。
因此,我们肯定会在2023年看到,ChatGPT将为遗漏的网络攻击和导致使用它的企业数据泄露的漏洞负责。”
5.生成式人工智能将升级现有的威胁
RSA公司首席信息安全官Rob Hughes表示,“就像许多新技术一样,我不认为ChatGPT会带来新的威胁。我认为它对安全格局的最大改变是扩大、加速和增强现有的威胁,特别是网络钓鱼。
在基本层面上,ChatGPT可以为网络攻击者提供语法正确的钓鱼邮件,这是我们现在不经常看到的情况。
虽然ChatGPT仍然是一种离线服务,但网络威胁行为者开始结合互联网接入、自动化和人工智能来制造持续的高级攻击只是一个时间问题。
有了聊天机器人,人类就不需要为发送垃圾邮件编写诱饵。与其相反,他们可以编写一个脚本,上面写着“使用互联网数据来熟悉某某人,并不断向他们发送消息,直到他们点击链接。”
网络钓鱼仍然是网络安全漏洞的主要原因之一。让一个自然语言机器人使用分布式鱼叉式网络钓鱼工具,同时在数百个用户的机器上大规模工作,将使安全团队更难完成他们的安全防护工作。”
6.企业将定义对ChatGPT使用的期望
毕马威公司网络安全服务负责人Matt Miller表示,随着越来越多的企业探索和采用ChatGPT,安全性将是首要考虑的问题。以下是一些帮助企业将在2023年抢占先机的步骤:
(1)设定ChatGPT和类似解决方案在企业环境中应该如何使用的期望。制定可接受的使用政策;定义所有批准的解决方案、用例和员工可以依赖的数据的列表;并要求进行检查以验证响应的准确性。
(2)建立内部流程,审查有关使用认知自动化解决方案的法规的影响和演变,特别是知识产权、个人数据的管理,以及适当的包容性和多样性。
(3)实施技术网络控制,特别注意测试代码的操作弹性和扫描恶意有效载荷。其他控制包括但不限于:多因素身份验证和只允许授权用户访问;数据丢失预防方案的应用确保工具生成的所有代码都经过标准审查的过程,并且不能直接复制到生产环境中;以及配置网络过滤,以便在员工访问未经批准的解决方案时发出警报。
7.人工智能将增强人类的能力
ESG公司分析师服务高级副总裁和高级分析师Doug Cahill表示, “与大多数新技术一样,ChatGPT将成为网络攻击者和防御者的资源,对抗性用例包括侦察和防御者寻求最佳实践以及威胁情报市场。与其他ChatGPT用例一样,随着人工智能系统在已经很大且不断增长的数据语料库上进行训练,用户测试响应的保真度也会有所不同。
虽然ChatGPT用例得到广泛应用,但在团队成员之间共享威胁情报以进行威胁狩猎和更新规则和防御模型是很有前途的。然而,ChatGPT是人工智能增强(而不是取代)在任何类型的威胁调查中应用场景所需的人为因素的另一个例子。”
8.企业仍将面临同样的原有威胁
Acronis公司全球研究副总裁Candid Wuest表示,“虽然ChatGPT是一个强大的语言生成模型,但这项技术不是一个独立的工具,不能独立运行。它依赖于用户输入,并受限于它所训练的数据。
例如,该模型生成的钓鱼文本仍然需要从电子邮件账户发送,并指向一个网站。这些都是可以通过分析来帮助检测的传统指标。
虽然ChatGPT有能力编写漏洞和有效负载,但测试表明,这些功能并不像最初建议的那样好。该平台还可以编写恶意软件,虽然这些代码已经可以在网上和各种论坛上找到,但ChatGPT使它更容易为大众所接受。
然而,其变化仍然有限,这使得基于行为的检测和其他方法很容易检测到这种恶意软件。ChatGPT并不是专门针对或利用漏洞而设计的,但是它可能会增加自动或模拟消息的频率。它降低了网络犯罪分子的准入门槛,但不会为已经成立的企业带来全新的攻击方法。”
以上就是《分析师对ChatGPT安全在2023年发展状况的八个预测》的详细内容,更多关于ChatGPT,人工智能,安全的资料请关注golang学习网公众号!
Windows 11 获得全新的 HDR 校准应用程序
- 上一篇
- Windows 11 获得全新的 HDR 校准应用程序
- 下一篇
- 如何在 Windows 11 中更改任务栏颜色
-
- 无心的黑裤
- 太全面了,收藏了,感谢作者大大的这篇文章,我会继续支持!
- 2023-06-08 17:41:07
-
- 酷酷的小兔子
- 这篇文章内容真及时,大佬加油!
- 2023-06-04 22:53:55
-
- 风中的月饼
- 很有用,一直没懂这个问题,但其实工作中常常有遇到...不过今天到这,看完之后很有帮助,总算是懂了,感谢博主分享文章内容!
- 2023-05-28 19:14:00
-
- 快乐的星月
- 这篇文章太及时了,太详细了,感谢大佬分享,已收藏,关注老哥了!希望老哥能多写科技周边相关的文章。
- 2023-05-22 23:28:34
-
- 科技周边 · 人工智能 | 6小时前 |
- 模型路由怎么做:按任务难度分配速度、成本与质量
- 147浏览 收藏
-
- 科技周边 · 人工智能 | 8小时前 |
- 多模态模型读图前,图片缩放与裁切会影响什么
- 247浏览 收藏
-
- 科技周边 · 人工智能 | 23小时前 | 人工智能 · 推理优化 ONNX Runtime 动态量化 nodes_to_exclude
- ONNX Runtime 动态量化怎么选择需要排除的节点
- 377浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · 向量检索 · Sentence Transformers truncate_dim 嵌入维度 Matryoshka 向量存储
- Sentence Transformers 怎么截断嵌入维度减少存储
- 165浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 |
- PEFT 多个 adapter 怎么按权重组合推理
- 454浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 |
- Accelerate 大模型推理怎么自动分配到多块设备
- 358浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · Tokenizers offset_mapping 原始文本
- Tokenizers offset mapping 怎么映射回原始文本位置
- 328浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | python · 人工智能 · shuffle Hugging Face Datasets streaming IterableDataset buffer_size
- Datasets streaming 怎么在不下载全集时打乱样本
- 470浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 368次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 426次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 442次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 390次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 217次使用
-
- 本地大模型反复输出同一句话怎么调整生成参数
- 2026-09-06 501浏览
-
- Python 调用大模型时如何用结构化输出校验 JSON:从解析失败到可重试
- 2026-08-29 501浏览
-
- AI写作工具免费版安装教程(含豆包Clawdbot)
- 2026-05-30 501浏览
-
- WPS AI能自动生成PPT吗?输入主题一键制作演示文稿
- 2026-05-27 501浏览
-
- Canva手机闪退解决方法及适配指南
- 2026-05-25 501浏览

