开源的端侧模型2B优于Mistral-7B的参数性能

从现在开始，努力学习吧！本文《开源的端侧模型2B优于Mistral-7B的参数性能》主要讲解了等等相关知识点，我会在golang学习网中持续更新相关的系列文章，欢迎大家关注并积极留言建议。下面就先一起来看一下本篇正文内容吧，希望能帮到你！

千元机也能本地运行。

近期，人们在优化和部署方面取得了成果，伴随着大模型向大体量方向发展。

2月1日，面壁智能联合清华NLP实验室在北京正式发布了旗舰端侧大模型「面壁MiniCPM」。这一新一代大模型被誉为「性能小钢炮」，不仅能够直接在终端部署，还具备同等水平最强的多模态能力。这将为用户提供更快速、更高效的智能应用体验。

面壁智能最新推出的 MiniCPM 2B 模型具有仅有 20 亿的参数量，并通过使用 1T token 的精选数据进行训练。与 2018 年发布的 BERT 模型相比，这个模型在参数量上相当，但面壁智能在性能优化和成本控制方面进行了极致的努力，使得该模型能够在性能上实现了「越级打怪」的效果。

面壁智能联合创始人、CEO 李大海将新模型与业内知名开源大模型 Mistral-7B 进行了对比，MiniCPM 2B 在多个主流评测榜单上性能全面超越了后者。

与微软近期提出的「小模型」Phi-2 相比，MiniCPM 也有很大优势。

李大海指出，面壁智能的新模型在能力方面具备了越级实现的潜力，可以实现13B、30B甚至40B模型的能力。使用最接近用户体验的评测榜单MT-Bench进行评测时，MiniCPM获得了7分的成绩（相比之下，GPT-4-Turbo获得了9分）。

在现场，面壁智能还展示了 MiniCPM 的实际应用效果。尽管参数量较小，但该模型具备大模型应有的文本翻译、角色扮演等多种能力，并且拥有丰富的知识。即使是难度较高的代码解释任务，该模型也能应对自如。

因为能够部署在端侧，在面临一些突发事件时，MiniCPM 也可以给人们提供及时帮助：

最近，各家手机厂商纷纷提出了端侧大模型，在把大语言模型压缩到较小体量之后，我们就能用它连接更多场景，在算力、内存受限的情况下获得更高程度的智能。相比之下，面壁智能提出的新技术更加轻便，可适用于更低配置，或较早期型号的手机。

据面壁智能介绍，MiniCPM 端侧模型经历了 Int4 量化后压缩了 75% 体量，只占用 2G 内存，与此同时性能几乎没有损失，因此已在各类常见型号的手机上实现了跑通。

因为支持移动端 CPU 的推理，MiniCPM 可以很大程度上节约使用成本。面壁智能为我们算了一笔账：一台搭载骁龙 855 的手机使用 MiniCPM，一块钱电费可处理 170 万 token，这个价格仅为云端运行的 Mistral-Medium 的 1%。

除了端侧模型，面壁智能还展示了其在多模态大模型方面的探索，并开源了 12B 参数量的 OmniLMM。在发布会上，面壁智能演示了 Gemini 发布时同款的石头剪刀布 demo。用英文向 AI 提问：我正在玩什么游戏？大模型会回答：石头剪子布。

与此同时，OmniLMM 也可以认出人类的手势，还能告诉你如果要赢应该出什么。

OmniLMM 还可以理解很多图片中的信息并进行推理，如地标建筑、电视台的台标、人们组织的活动等内容。

看来，我们距离真正多模态的大模型，以及新形态的应用已经不远了。

面壁智能大模型极致性能的背后，源于该公司长期以来的技术积累。自 2021 年，面壁智能就构建了高效的技术栈，集中在 Infra、算法和数据方法论三个方向。其中，自研的 BMTrain 高效训练框架至关重要。

在算法层面上，面壁智能也积累了模型沙盒体系，把大模型从炼丹提升到了实验科学的程度，在理论上不断寻找超参数和规模的最优解，如最优的 batch size、所有尺寸模型通用的超参数配置。

目前，面壁智能已积累了大量高质量的数据。在昨天的发布后，面壁智能开源了自身的新一代大模型系列（包含 MiniCPM-SFT / DPOMiniCPM-V & MiniCPM-SFT / DPO-int4），以及训练 MiniCPM 两个阶段的数据配方以供行业参考。

开源地址（含技术报告）：

MiniCPM GitHub：https://github.com/OpenBMB/MiniCPM

OmniLMM GitHub：https://github.com/OpenBMB/OmniLMM

面壁智能源于清华 NLP 实验室，是在国内较早开展大模型研究的团队之一，其在 2018 年发布了全球首个基于知识指导的预训练模型 ERNIE。2022 年 8 月开始公司化运作的面壁智能，去年经历了两轮融资，其推出的应用「面壁露卡」也拿到了网信办第二批大模型备案。

目前，面壁智能已经组建起 100 余人的科研团队，其中 80% 人员来自清北，平均年龄 28 岁。

面壁智能正在构建大模型 + Agent 的双引擎战略，希望能构建出更小规模、更快速度、更低成本的解决方案。

今年，面壁智能还将加快速度迭代新技术。「我们会在春节之后不断发布 MiniCPM 的新版本，性能还会进一步提升。我们要给大家春节的休息时间，」刘知远表示。

终于介绍完啦！小伙伴们，这篇关于《开源的端侧模型2B优于Mistral-7B的参数性能》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！