开源模型泄露：Mistral老板确认正式版本将更强大

偷偷努力，悄无声息地变强，然后惊艳所有人！哈哈，小伙伴们又来学习啦~今天我将给大家介绍《开源模型泄露：Mistral老板确认正式版本将更强大》，这篇文章主要会讲到等等知识点，不知道大家对其都有多少了解，下面我们就一起来看一吧！当然，非常希望大家能多多评论，给出合理的建议，我们一起学习，一起进步！

Mistral-Medium竟然意外泄露？此前仅能通过API获得，性能直逼GPT-4。

CEO最新发声：确有其事，系早期客户员工泄露。但仍表示敬请期待。

图片

换句话说，这个版本尚且还是旧的，实际版本性能还会更好。

这两天，这个名叫“Miqu”的神秘模型在大模型社区里炸了锅，不少人还怀疑这是LIama的微调版本。

图片

Mistral CEO解释说，他们对Mistral Medium进行了重新训练，基于Llama 2的基础上进行了改进。这是为了尽快向早期客户提供接近GPT-4性能的API。预训练工作在Mistral 7B发布当天就完成了。

如今真相大白，CEO还卖关子，不少网友在底下戳戳手期待。

图片

图片

Mistral-Medium意外泄露

我们还是重新来回顾一下整个事件。1月28日，一个名叫Miqu Dev的神秘用户在HuggingFace上发布一组文件“miqu-1-70b”。

图片

文件指出新LLM的“提示格式”以及用户交互方式同Mistral相同。

同一天，4chan上一个匿名用户发布了关于miqu-1-70b文件的链接。

于是乎一些网友注意到了这个神秘的模型，并且开始进行一些基准测试。

结果惊人发现，它在EQ-Bench 上获得83.5 分（本地评估），超过世界上除GPT-4之外的所有其他大模型。

一时间，网友们强烈呼吁将这个大模型添加到排行榜中，并且找出背后的真实模型。

大致怀疑方向主要有三个：

• 与Mistral-Medium是同一个模型。

有网友晒出了对比效果：它知道标准答案还说得过去，但不可能连俄语措辞也跟Mistral-Medium完全相同吧。

图片

• Miqu应该是LIama 2的微调版本。

但另外的网友发现，它并不是MoE模型，并且同LIama 2架构相同、参数相同、层数相同，。

图片

不过马上就受到其他网友的质疑，Mistral 7b也具有与 llama 7B 相同的参数和层数。

相反，这更像是Mistral早期非MoE版本模型。

图片

不过讨论来讨论去，不可否认的是在不少人心中，这已经是最接近GPT-4的模型了。

图片

如今，Mistral 联合创始人兼首席执行官 Arthur Mensch承认泄露，是他们一位早期客户员工过于热情，泄露了他们训练并公开发布的一个旧模型量化版本。

至于Perplexity这边CEO也澄清说，他们从未获得过Mistral Medium的权重。

图片

网友担心是否会撤下这个版本。

图片

有趣的是，Mensch并没有要求删除HuggingFace上的帖子。

图片

而是留下评论说：可能会考虑归属问题。

参考链接：
[1]https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/
[2]https://twitter.com/teortaxesTex/status/1752427812466593975
[3]https://twitter.com/N8Programs/status/1752441060133892503
[4]https://twitter.com/AravSrinivas/status/1752803571035504858

文中关于开源,GPT-4,模型的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《开源模型泄露：Mistral老板确认正式版本将更强大》文章吧，也可关注golang学习网公众号了解相关技术文章。