无问芯穹发布全球首个端侧全模态理解的开源模型Megrez-3B-Omni，小巧全能，极速推理

哈喽！今天心血来潮给大家带来了《无问芯穹发布全球首个端侧全模态理解的开源模型Megrez-3B-Omni，小巧全能，极速推理》，想必大家应该对科技周边都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习科技周边，千万别错过这篇文章~希望能帮助到你！

无问芯穹开源全球首个端侧全模态理解开源模型Megrez-3B-Omni

12月16日，无问芯穹正式开源其端上智能一体化解决方案中的核心组成部分——Megrez-3B-Omni，一个仅30亿参数的端侧全模态理解开源模型，并同步开源纯语言版本Megrez-3B-Instruct。该模型在图片、文本、音频三个模态上均表现出色，推理速度领先同精度模型300%。

GitHub地址：https://github.com/infinigence/Infini-Megrez

HuggingFace地址：https://huggingface.co/Infinigence/Megrez-3B-Omni

卓越的全模态性能

Megrez-3B-Omni在图片、文本和音频三个模态的多个权威基准测试中均取得了领先的性能。它超越了包括VITA、Baichuan-Omni-7B、MiniCPM-V2.6、Qwen2-VL-7B、Qwen2-Audio-7B以及Qwen、Baichuan等一系列同类模型。

图像理解：小体量，大作为

Megrez-3B-Omni在图像理解方面表现惊艳。尽管参数量仅为30亿，其性能却超越了参数量达340亿的LLaVA-NeXT-Yi-34B等模型，成为OpenCompass、MME、MMMU、OCRBench等多个主流测试集上精度最高的图像理解模型之一。它能够准确识别各种图像场景，高效提取文本信息，轻松应对模糊印刷体和复杂手写体。

文本理解：3B参数量媲美14B模型

Megrez-3B-Omni在文本理解方面同样表现出色，其性能超越了上一代140亿参数的最佳模型。在C-EVAL、MMLU/MMLU Pro、AlignBench等权威测试集上，它取得了端上模型最优精度。

音频理解：多模态交互，自然流畅

Megrez-3B-Omni支持中文和英文语音输入，能够处理复杂的多轮对话，并支持基于图片或文字的语音提问，实现不同模态间的自由切换。用户可以通过语音指令直接获取文本响应，实现更自然、高效的交互。

高效的推理效率

Megrez-3B-Omni凭借软硬件协同优化策略，实现了硬件性能的最大化利用。单模态版本Megrez-3B-Instruct的推理速度比同精度模型快300%。

灵活的应用场景

Megrez-3B-Instruct集成了WebSearch功能，能够智能判断何时需要进行网页搜索以辅助回答问题，有效克服了小模型的知识局限性。

端上智能一体化解决方案

无问芯穹致力于提供完整的端上智能一体化解决方案，包括端侧模型、端上推理软件和IP设计方案，支持CPU、GPU和NPU的同时推理，并可通过软硬件协同优化，额外提升70%的性能。

无问芯穹将持续迭代Megrez系列模型，并将其作为端上智能一体化解决方案的重要组成部分推向市场，推动端侧智能发展。

本篇关于《无问芯穹发布全球首个端侧全模态理解的开源模型Megrez-3B-Omni，小巧全能，极速推理》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！