一个问题区分人类和AI！「丐版」图灵测试，难住所有大模型
最近发现不少小伙伴都对科技周边很感兴趣，所以今天继续给大家介绍科技周边相关的知识，本文《一个问题区分人类和AI！「丐版」图灵测试，难住所有大模型》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~
一个「终极丐版」的「图灵测试」，让所有大语言模型都难住了。
人类却可以毫不费力地通过测试。
大写字母测试
研究人员用了一个非常简单的办法。
把真正的问题混到一些杂乱无章的大写字母写成的单词中提给大语言模型。
大语言模型没有办法有效地识别提出的真正问题。
而人类能轻易地把「大写字母」单词剔除问题，识别出藏在混乱的大写字母中的真正问题，做出回答，从而通过测试。
图中的问题本身非常简单：is water wet or dry？
人类直接回答一个wet就完事了。
而ChatGPT却没有办法剔除那些大写字母的干扰来回答问题。
于是就把很多没有意义的单词也混入了问题中，使得回答也非常冗长且没有意义。
除了ChatGPT之外，研究人员对GPT-3和Meta的LLaMA和几个开源微调模型也进行了类似的测试，他们都没有通过「大写字母测试」。
测试背后的原理其实很简单：人工智能算法通常以不区分大小写的方式处理文本数据。
所以，当一个大写字母意外地放在一个句子中时，它会导致混乱。
AI 不知道是将其视为专有名词、错误，还是干脆忽略它。
利用这一点，就能很容易地将我们正在交谈的对象中真人和聊天机器人区分出来。
如何更加科学地把AI揪出来？
为了应对未来可能大量出现的利用聊天机器人进行的诈骗等严重的不法活动。
除了上边提到的大写字母测试，研究人员们尝试找到一个在网络环境中更加高效地区分人类和聊天机器人的方法。
论文：https://arxiv.org/pdf/2305.06424.pdf
研究者针对大语言模型的弱点重点设计。
为了让大语言模型没法通过测试，抓住AI的「七寸」一顿爆锤。
锤出了以下几个测试方法。
只要是大模型不擅长回答的问题，就疯狂针对。
计数
首先是计数，知道大模型数数不行。
果然3个字母都能数错。
文字替换
然后是文字替换，几个字母相互替换，让大模型拼出一个新的单词。
AI纠结了半天，输出的结果还是错的。
位置替换
这也不是ChatGPT的强项。
对于小学生都能准确完成的字母筛选聊天机器人也没法完成。
问题：请输出第二「S」之后的第4个字母，正确答案为「c」
随机编辑
对于人类来说完成几乎不费任何力气，AI依然无法通过。
噪音植入
这也就是我们开头提到的「大写字母测试」了。
通过在问题中添加各种噪音（比如无关的大写字母单词），聊天机器人没有办法准确的识别问题，于是就无法通过测试。
而对于人类来说，要在这些杂乱的大写字母中看出真正的问题，难度实在是不值一提。
符号文字
又是一项对于人类来说几乎没有任何挑战的任务。
但是对于聊天机器人来说，想要能够理解这些符号文字，不进行大量的专门训练应该是很难的。
由研究人员专门针对大语言模型设计的一系列「不可能完成的任务」之后。
为了区分人类，他们也设计了两个对于大语言模型比较简单，而对于人很难的任务。
记忆和计算
通过提前的训练，大语言模型在这两个方面都有比较良好的表现。
而人类由于受限制于不能使用各种辅助设备，基本对于大量的记忆和4位数的计算都没有做出有效的回答。
人类VS大语言模型
研究人员针对GPT3，ChatGPT，以及另外三个开源的大模型：LLaMA，Alpaca，Vicuna进行了这个「人类区别测试」
可以从结果上很明显地看出来，大模型没有成功混入人类之中。
研究团队将问题开源在了https://github.com/hongwang600/FLAIR
表现最好的ChatGPT也仅仅在位置替换测试中有不到25%的通过率。
而其他的大语言模型，在这些专门针对他们设计的测试中，表现都非常糟糕。
完全不可能通过测试。
而对于人类来说却非常简单，几乎100%通过。
而对于人类不擅长的问题，人类也几乎是全军覆没，一败涂地。
AI却能明显胜任。
看来研究者对于测试设计确实是非常用心了。
「不放过任何一个AI，却也不冤枉任何一个人类」
这区分度杠杠的！
以上就是《一个问题区分人类和AI！「丐版」图灵测试，难住所有大模型》的详细内容，更多关于AI,人类,图灵的资料请关注golang学习网公众号！
AI时代汹汹来袭，“汽车机器人”真能实现吗？｜DA探店
- 上一篇
- AI时代汹汹来袭，“汽车机器人”真能实现吗？｜DA探店
- 下一篇
- 担心自身形象被滥用，好莱坞演员要求对 AI 分身收取报酬
-
- 科技周边 · 人工智能 | 6小时前 | 中文版 谷歌AI 网页登录 aistudio.google.com Gmail账号
- 谷歌AI中文版入口及免注册方法
- 340浏览 收藏
-
- 科技周边 · 人工智能 | 8小时前 |
- 即梦数据安全吗？隐私保护全解析
- 138浏览 收藏
-
- 科技周边 · 人工智能 | 8小时前 |
- 豆包AI如何查错？Debug操作全解析
- 371浏览 收藏
-
- 科技周边 · 人工智能 | 8小时前 | 搜索 Threads Perplexity 合集 提问历史
- Perplexity历史查看方法及Thread管理技巧
- 138浏览 收藏
-
- 科技周边 · 人工智能 | 8小时前 |
- 豆包AI代码加密技巧与教程详解
- 221浏览 收藏
-
- 科技周边 · 人工智能 | 9小时前 |
- 即梦图片版权归属说明
- 218浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 485次学习
-
- ChatExcel酷表
- ChatExcel酷表是由北京大学团队打造的Excel聊天机器人，用自然语言操控表格，简化数据处理，告别繁琐操作，提升工作效率！适用于学生、上班族及政府人员。
- 3204次使用
-
- Any绘本
- 探索Any绘本（anypicturebook.com/zh），一款开源免费的AI绘本创作工具，基于Google Gemini与Flux AI模型，让您轻松创作个性化绘本。适用于家庭、教育、创作等多种场景，零门槛，高自由度，技术透明，本地可控。
- 3417次使用
-
- 可赞AI
- 可赞AI，AI驱动的办公可视化智能工具，助您轻松实现文本与可视化元素高效转化。无论是智能文档生成、多格式文本解析，还是一键生成专业图表、脑图、知识卡片，可赞AI都能让信息处理更清晰高效。覆盖数据汇报、会议纪要、内容营销等全场景，大幅提升办公效率，降低专业门槛，是您提升工作效率的得力助手。
- 3446次使用
-
- 星月写作
- 星月写作是国内首款聚焦中文网络小说创作的AI辅助工具，解决网文作者从构思到变现的全流程痛点。AI扫榜、专属模板、全链路适配，助力新人快速上手，资深作者效率倍增。
- 4555次使用
-
- MagicLight
- MagicLight.ai是全球首款叙事驱动型AI动画视频创作平台，专注于解决从故事想法到完整动画的全流程痛点。它通过自研AI模型，保障角色、风格、场景高度一致性，让零动画经验者也能高效产出专业级叙事内容。广泛适用于独立创作者、动画工作室、教育机构及企业营销，助您轻松实现创意落地与商业化。
- 3824次使用
-
- GPT-4王者加冕！读图做题性能炸天，凭自己就能考上斯坦福
- 2023-04-25 501浏览
-
- 单块V100训练模型提速72倍！尤洋团队新成果获AAAI 2023杰出论文奖
- 2023-04-24 501浏览
-
- ChatGPT 真的会接管世界吗？
- 2023-04-13 501浏览
-
- VR的终极形态是「假眼」？Neuralink前联合创始人掏出新产品：科学之眼！
- 2023-04-30 501浏览
-
- 实现实时制造可视性优势有哪些？
- 2023-04-15 501浏览
