当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > 13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

来源:51CTO.COM 2023-11-19 08:27:26 0浏览 收藏

在科技周边实战开发的过程中,我们经常会遇到一些这样那样的问题,然后要卡好半天,等问题解决了才发现原来一些细节知识点还是没有掌握好。今天golang学习网就整理分享《13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?》,聊聊,希望可以帮助到正在努力赚钱的你。

一个参数量为13B的模型竟然能击败顶级的GPT-4?就像下图所示,为了确保结果的有效性,这项测试还遵循了OpenAI的数据去噪方法,并且没有发现任何数据污染的证据

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

观察图中的模型,你会发现只要带有「rephraser」这个词,模型的性能都相对较高

这背后到底有何猫腻?原来是数据污染了,即测试集信息在训练集中遭到泄漏,而且这种污染还不易被检测到。尽管这一问题非常关键,但理解和检测污染仍然是一个开放且具有挑战性的难题。

现阶段,去污最常用的方法是 n-gram 重叠和嵌入相似性搜索:N-gram 重叠依赖于字符串匹配来检测污染,是 GPT-4、PaLM 和 Llama-2 等模型常用方法;嵌入相似性搜索使用预训练模型(例如 BERT)的嵌入来查找相似且可能受到污染的示例。

然而,来自 UC 伯克利、上海交通大学的研究表明测试数据的简单变化(例如,改写、翻译)就可以轻松绕过现有的检测方法。他们并将测试用例的此类变体称为「需要改写的内容是:改写样本(Rephrased Samples)」。

以下是MMLU基准测试中需要改写的内容是:改写样本的演示结果。结果表明,如果训练集中包含这种样本,13B模型可以达到非常高的性能(MMLU 85.9)。可惜的是,现有的检测方法(如n-gram重叠和嵌入相似性)无法检测到这种污染。例如,嵌入相似性方法很难将改写问题与同一主题中的其他问题区分开来

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

通过类似的改写技术,本文在广泛使用的编码和数学基准测试中观察到一致的结果,例如 HumanEval 和 GSM-8K(如文章开头图中所示)。因此,能够检测此类需要改写的内容是:改写样本变得至关重要。

接下来,我们看看这项研究是如何进行的。

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?


  • 论文地址:https://arxiv.org/pdf/2311.04850.pdf
  • 项目地址:https://github.com/lm-sys/llm-decontaminator#detect

论文介绍

随着大模型(LLM)的快速发展,人们对测试集污染问题的关注越来越多。许多人对公共基准的可信度表示担忧

为了解决这个问题,一些人使用传统的去污方法,例如字符串匹配(如n-gram重叠),来删除基准数据。然而,这些操作远远不够,因为只需对测试数据进行一些简单的更改(例如改写、翻译),就可以轻松地绕过这些净化措施

如果不消除测试数据的这种更改,13B 模型很容易过度拟合测试基准并实现与 GPT-4 相当的性能,这是更重要的。研究人员在 MMLU、GSK8k 和 HumanEval 等基准测试中验证了这些观察结果

同时为了解决这些日益增长的风险,本文还提出了一种更为强大的基于 LLM 的去污方法 LLM decontaminator,并将其应用于流行的预训练和微调数据集,结果表明,本文提出的 LLM 方法在删除需要改写的内容是:改写样本方面明显优于现有方法。

这一做法也揭露了一些先前未知的测试重叠(test overlap)。例如,在 RedPajamaData-1T 和 StarCoder-Data 等预训练集中,本文发现 HumanEval 基准有 8-18% 重叠。此外,本文还在 GPT-3.5/4 生成的合成数据集中发现了这种污染,这也说明了在 AI 领域存在潜在的意外污染风险。

我们希望通过本文,呼吁社区在使用公共基准时采取更加强有力的净化方法,并积极开发新的一次性测试案例来准确评估模型

需要改写的内容是:改写样本

本文的目标是调查训练集中包含测试集的简单变化是否会影响最终的基准性能,并将测试用例的这种变化称为「需要改写的内容是:改写样本」。实验中考虑了基准的各个领域,包括数学、知识和编码。示例 1 是来自 GSM-8k 的需要改写的内容是:改写样本,其中有 10-gram 重叠无法检测到,修改后和原始文本保持相同的语义。


13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

改写技术针对不同形式的基准污染存在微小差异。在基于文本的基准测试中,本文通过重新排列词序或使用同义词替换等手段,对测试用例进行改写,以达到不改变语义的目的。而在基于代码的基准测试中,本文则通过改变编码风格、命名方式等方式进行改写

如下所示,算法 1 中针对给定的测试集提出了一种简单的算法。该方法可以帮助测试样本逃避检测。

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

接下来本文提出了一种新的污染检测方法,可以准确地从相对于基准的数据集中删除需要改写的内容是:改写样本。

具体而言,本文引入了 LLM decontaminator。首先,对于每个测试用例,它使用嵌入相似度搜索来识别具有最高相似度的 top-k 训练项,之后通过 LLM(例如 GPT-4)评估每一对是否相同。这种方法有助于确定数据集中有多少需要改写的内容是:改写样本。

在图4中展示了不同污染和不同检测方法的维恩图

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

实验

在第 5.1 节中,实验证明了在需要改写的内容是:改写样本上训练的模型可以取得显着的高分,在三个广泛使用的基准(MMLU、HumanEval 和 GSM-8k)中实现与 GPT-4 相当的性能,这表明需要改写的内容是:改写样本应被视为污染,应从训练数据中删除。在第 5.2 节中,本文根据 MMLU/HumanEval 中需要改写的内容是:改写样本评估不同的污染检测方法。在第 5.3 节中,本文将 LLM decontaminator 应用于广泛使用的训练集并发现以前未知的污染。

我们接下来来看一些主要的结果

需要改写的内容是:重写污染标准样本

如表 2 所示,在需要改写的内容是:改写样本上训练的 Llama-2 7B 和 13B 在 MMLU 上取得显着的高分,从 45.3 到 88.5。这表明经过改写的样本可能会严重扭曲基准数据,应被视为污染。

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

本文还对 HumanEval 测试集进行了改写,并将其翻译成五种编程语言:C、JavaScript、Rust、Go 和 Java。结果显示,在需要改写的内容是:改写样本上训练的 CodeLlama 7B 和 13B 在 HumanEval 上可以取得极高的分数,分别从 32.9 到 67.7 以及 36.0 到 81.1。相比之下,GPT-4 在 HumanEval 上只能达到 67.0。

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

下表 4 取得了同样的效果:

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

对检测污染方法的评估

如表 5 所示,除 LLM decontaminator 外,所有其他检测方法都会引入一些误报。改写和翻译的样本都不会被 n-gram 重叠检测到。使用 multi-qa BERT,嵌入相似性搜索被证明对翻译样本完全无效。

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

数据集的污染状况

在表7中,显示了每个训练数据集中不同基准的数据污染百分比

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

LLM decontaminator 揭示了 79 个自需要改写的内容是:改写样本的实例,占 MATH 测试集的 1.58%。示例 5 是 MATH 训练数据中 MATH 测试的改写示例。

13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?

请查看原论文以获取更多信息

以上就是《13B模型在与GPT-4的全面对决中占据优势?背后是否存在某些不寻常的情况?》的详细内容,更多关于AI,模型的资料请关注golang学习网公众号!

版本声明
本文转载于:51CTO.COM 如有侵犯,请联系study_golang@163.com删除
GPT、Llama等大模型存在「逆转诅咒」,这个bug该如何缓解?GPT、Llama等大模型存在「逆转诅咒」,这个bug该如何缓解?
上一篇
GPT、Llama等大模型存在「逆转诅咒」,这个bug该如何缓解?
金山办公陷隐私门!拿用户上传的文档喂AI
下一篇
金山办公陷隐私门!拿用户上传的文档喂AI
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    509次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • AI边界平台:智能对话、写作、画图,一站式解决方案
    边界AI平台
    探索AI边界平台,领先的智能AI对话、写作与画图生成工具。高效便捷,满足多样化需求。立即体验!
    391次使用
  • 讯飞AI大学堂免费AI认证证书:大模型工程师认证,提升您的职场竞争力
    免费AI认证证书
    科大讯飞AI大学堂推出免费大模型工程师认证,助力您掌握AI技能,提升职场竞争力。体系化学习,实战项目,权威认证,助您成为企业级大模型应用人才。
    405次使用
  • 茅茅虫AIGC检测:精准识别AI生成内容,保障学术诚信
    茅茅虫AIGC检测
    茅茅虫AIGC检测,湖南茅茅虫科技有限公司倾力打造,运用NLP技术精准识别AI生成文本,提供论文、专著等学术文本的AIGC检测服务。支持多种格式,生成可视化报告,保障您的学术诚信和内容质量。
    542次使用
  • 赛林匹克平台:科技赛事聚合,赋能AI、算力、量子计算创新
    赛林匹克平台(Challympics)
    探索赛林匹克平台Challympics,一个聚焦人工智能、算力算法、量子计算等前沿技术的赛事聚合平台。连接产学研用,助力科技创新与产业升级。
    639次使用
  • SEO  笔格AIPPT:AI智能PPT制作,免费生成,高效演示
    笔格AIPPT
    SEO 笔格AIPPT是135编辑器推出的AI智能PPT制作平台,依托DeepSeek大模型,实现智能大纲生成、一键PPT生成、AI文字优化、图像生成等功能。免费试用,提升PPT制作效率,适用于商务演示、教育培训等多种场景。
    548次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码