当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

来源:51CTO.COM 2023-06-03 15:44:18 0浏览 收藏

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的,希望这篇《吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界》对你有很大帮助!欢迎收藏,分享给更多的需要的朋友学习~

没想到时至今日,ChatGPT竟还会犯低级错误?

吴恩达大神最新开课就指出来了:

ChatGPT不会反转单词!

比如让它反转下lollipop这个词,输出是pilollol,完全混乱。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

哦豁,这确实有点大跌眼镜啊。

以至于听课网友在Reddit上发帖后,立马引来大量围观,帖子热度火速冲到6k。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

而且这不是偶然bug,网友们发现ChatGPT确实无法完成这个任务,我们亲测结果也同样如此。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

△实测ChatGPT(GPT-3.5)

甚至包括Bard、Bing、文心一言在内等一众产品都不行。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

△实测Bard

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

△实测文心一言

还有人紧跟着吐槽, ChatGPT在处理这些简单的单词任务就是很糟糕。

比如玩此前曾爆火的文字游戏Wordle简直就是一场灾难,从来没有做对过。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

诶?这到底是为啥?

关键在于token

之所以有这样的现象,关键在于token。大型模型一般使用token来处理文本,因为token是文本中最常见的字符序列。

它可以是整个单词,也可以是单词一个片段。大型模型熟悉这些令牌之间的统计关系,并能够有效地生成下一个令牌。

因此在处理单词反转这个小任务时,它可能只是将每个token翻转过来,而不是字母。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

这点放在中文语境下体现就更为明显:一个词是一个token,也可能是一个字是一个token。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

针对开头的例子,有人尝试理解了下ChatGPT的推理过程。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

为了更直观的了解,OpenAI甚至还出了个GPT-3的Tokenizer。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

比如像lollipop这个词,GPT-3会将其理解成I、oll、ipop这三个部分。

根据经验总结,也就诞生出这样一些不成文法则。

  • 1个token≈4个英文字符≈四分之三个词;
  • 100个token≈75个单词;
  • 1-2句话≈30个token;
  • 一段话≈100个token,1500个单词≈2048个token;

单词如何划分还取决于语言。此前有人统计过,中文要用的token数是英文数量的1.2到2.7倍。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界


处理成本与token-to-char(单词到字符)的比例成正比。因此处理中文tokenize要比英文更贵。

可以这样理解,token是大模型认识理解人类现实世界的方式。它非常简单,还能大大降低内存和时间复杂度。

但将单词token化存在一个问题,就会使模型很难学习到有意义的输入表示,最直观的表示就是不能理解单词的含义。

当时Transformers有做过相应优化,比如一个复杂、不常见的单词分为一个有意义的token和一个独立token。

就好像“annoyingly”一词被分解成了“annoying”和“ly”,前者保留了它的语义,而后者则经常出现。

这也成就了如今ChatGPT及其他大模型产品的惊艳效果,能很好地理解人类的语言。

至于无法处理单词反转这样一个小任务,自然也有解决之道。

最简单直接的,就是你先自己把单词给分开喽~

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

或者也可以让ChatGPT一步一步来,先tokenize每个字母。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

又或者让它写一个反转字母的程序,然后程序的结果对了。(狗头)

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

不过也可以使用GPT-4,实测没有这样的问题。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

△实测GPT-4

总之,token就是AI理解自然语言的基石。

而作为AI理解人类自然语言的桥梁,token的重要性也越来越明显。

它已经成为AI模型性能优劣的关键决定因素,还是大模型的计费标准。

甚至有了token文学

正如前文所言,token能方便模型捕捉到更细粒度的语义信息,如词义、词序、语法结构等。在序列建模任务(如语言建模、机器翻译、文本生成等)中,顺序和位置非常关键。

模型只有在准确了解每个token在序列中的位置和上下文情况,才能更好正确预测内容,给出合理输出。

因此,token的质量、数量对模型效果有直接影响。

今年开始,越来越多大模型发布时,都会着重强调token数量,比如谷歌PaLM 2曝光细节中提到,它训练用到了3.6万亿个token。

以及很多行业内大佬也纷纷表示,token真的很关键!

今年从特斯拉跳槽到OpenAI的AI科学家安德烈·卡帕斯(Andrej Karpathy)就曾在演讲中表示:

更多token能让模型更好思考。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

而且他强调,模型的性能并不只由参数规模来决定。

比如LLaMA的参数规模远小于GPT-3(65B vs 175B),但由于它用更多token进行训练(1.4T vs 300B),所以LLaMA更强大。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

而凭借着对模型性能的直接影响,token还是AI模型的计费标准。

以OpenAI的定价标准为例,他们以1K个token为单位进行计费,不同模型、不同类型的token价格不同。

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

总之,踏进AI大模型领域的大门后,就会发现token是绕不开的知识点。

嗯,甚至衍生出了token文学……

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

不过值得一提的是,token在中文世界里到底该翻译成啥,现在还没有完全定下来。

直译“令牌”总是有点怪怪的。

GPT-4觉得叫“词元”或“标记”比较好,你觉得呢?

吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界

参考链接:
[1]https://www.reddit.com/r/ChatGPT/comments/13xxehx/chatgpt_is_unable_to_reverse_words/
[2]https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them
[3]https://openai.com/pricing

以上就是《吴恩达ChatGPT课爆火:AI放弃了倒写单词,但理解了整个世界》的详细内容,更多关于AI,token的资料请关注golang学习网公众号!

版本声明
本文转载于:51CTO.COM 如有侵犯,请联系study_golang@163.com删除
使用Go语言框架构建大型项目的最佳实践使用Go语言框架构建大型项目的最佳实践
上一篇
使用Go语言框架构建大型项目的最佳实践
您刚刚安装了 Windows 11?前 10 件事要做
下一篇
您刚刚安装了 Windows 11?前 10 件事要做
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    508次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • 互联网信息服务算法备案系统:如何完成算法备案流程
    互联网信息服务算法备案系统
    了解互联网信息服务算法备案系统,掌握如何进行算法备案的详细步骤和要求,确保您的互联网服务合规运营。
    52次使用
  • SEO标题魔匠AI:高质量学术写作平台,毕业论文生成与优化专家
    魔匠AI
    SEO摘要魔匠AI专注于高质量AI学术写作,已稳定运行6年。提供无限改稿、选题优化、大纲生成、多语言支持、真实参考文献、数据图表生成、查重降重等全流程服务,确保论文质量与隐私安全。适用于专科、本科、硕士学生及研究者,满足多语言学术需求。
    96次使用
  • PPTFake答辩PPT生成器:一键生成高效专业的答辩PPT
    PPTFake答辩PPT生成器
    PPTFake答辩PPT生成器,专为答辩准备设计,极致高效生成PPT与自述稿。智能解析内容,提供多样模板,数据可视化,贴心配套服务,灵活自主编辑,降低制作门槛,适用于各类答辩场景。
    119次使用
  • SEO标题Lovart AI:全球首个设计领域AI智能体,实现全链路设计自动化
    Lovart
    SEO摘要探索Lovart AI,这款专注于设计领域的AI智能体,通过多模态模型集成和智能任务拆解,实现全链路设计自动化。无论是品牌全案设计、广告与视频制作,还是文创内容创作,Lovart AI都能满足您的需求,提升设计效率,降低成本。
    217次使用
  • 美图AI抠图:行业领先的智能图像处理技术,3秒出图,精准无误
    美图AI抠图
    美图AI抠图,依托CVPR 2024竞赛亚军技术,提供顶尖的图像处理解决方案。适用于证件照、商品、毛发等多场景,支持批量处理,3秒出图,零PS基础也能轻松操作,满足个人与商业需求。
    115次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码