当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > Kimi-VL—月之暗面开源轻量多模态视觉语言模型

Kimi-VL—月之暗面开源轻量多模态视觉语言模型

2025-04-22 15:46:07 0浏览收藏

Kimi-VL 是月之暗面开源的轻量级多模态视觉语言模型，基于 Moonlight 和 MoonViT 视觉编码器，支持多种输入形式如单图、多图、视频和长文档。该模型在图像感知、数学、多学科题目和 OCR 等任务中表现出色，尤其在长上下文和复杂推理方面优势明显。其推出的 Kimi-VL-Thinking 版本在高难度推理任务中成绩接近甚至超越超大尺寸模型。Kimi-VL 适用于智能客服、教育辅导、内容创作、医疗辅助和企业办公等场景。

Kimi-VL是什么

Kimi-VL 是月之暗面开源的轻量级多模态视觉语言模型，基于轻量级MoE模型Moonlight（16B总参数，2.8B激活参数）和原生分辨率的MoonViT视觉编码器（400M参数）。Kimi-VL支持单图、多图、视频和长文档等多模态输入，在图像感知、数学、多学科题目、OCR等任务中表现出色，尤其在长上下文（128K）和复杂推理方面有优势。在数学推理、长视频理解等任务中表现优异，超越GPT-4o等模型。Kimi-VL推出支持长思考的模型版本 Kimi-VL-Thinking，基于长链推理微调和强化学习，仅2.8B 激活参数，在较高推理难度的基准测试中，部分成绩接近甚至超过超大尺寸的前沿模型。

Kimi-VL的主要功能

多模态信息输入：支持单图、多图、视频、长文档等多种输入形式。
图像细粒度感知：对图像进行详细分析，识别图像中的复杂细节和场景。
数学和逻辑推理：在多模态数学题目和逻辑推理任务中表现出色，支持结合视觉信息进行复杂计算。
OCR和文本识别：在光学字符识别（OCR）任务中表现优异，准确识别图像中的文字内容。
智能体应用：支持Agent任务，如屏幕快照解析、智能体导航等，处理复杂的视觉和文本交互场景。
长思考能力：Kimi-VL-Thinking版本在复杂任务中支持进行更深层次的推理。

Kimi-VL的技术原理

架构设计：
- 视觉编码器（MoonViT）：基于400M参数的Vision Transformer架构，原生分辨率处理图像，无需对图像进行分割或拼接。引入NaViT中的打包方法，将图像划分为图像块，展平后串联成一维序列，与语言模型共享相同的算子和优化方法。
- 多层感知器投影模块（MLP Projector）：基于两层MLP桥接视觉编码器和语言模型。像素重排操作压缩图像特征的空间维度，投影到语言模型所需的嵌入维度。
- 混合专家（MoE）语言模型（Moonlight）：基于6B总参数、2.8B激活参数的轻量级MoE架构。从预训练阶段的中间检查点初始化，检查点已处理过5.2T token的纯文本数据，激活了8K的上下文长度。用混合训练方案，继续预训练2.3T token的多模态和纯文本数据。
预训练阶段：
- 独立 ViT 训练：对视觉编码器进行独立训练，建立健壮的视觉特征提取能力。
- 联合训练：包括预训练、冷却和长上下文激活三个阶段，同时增强模型的语言和多模态能力。
- 后训练阶段：分别在32K和128K上下文中进行，进一步优化模型性能。用长链推理（Long-CoT）微调激活和增强长思考能力，基于强化学习进一步提升模型的推理能力。
性能优化：基于128K的上下文窗口，在长文本和长视频中进行精准信息检索。原生分辨率编码器MoonViT在超高分辨率视觉任务中用户较低的计算开销保持高准确率。基于长思维链（Long CoT）激活和强化学习，Kimi-VL-Thinking在复杂任务中进行更深层次的推理。

Kimi-VL的性能优势

高智力：Kimi-VL在多模态推理和多步骤Agent任务中表现出色，文本处理能力也毫不逊色于纯文本语言模型。在MMMU、MathVista、OSWorld等基准测试中，Kimi-VL无需依赖“长思考”能力，取得令人瞩目的成绩，展现卓越的智能水平。
长上下文：Kimi-VL拥有128K的超长上下文窗口，在处理长视频和长文档任务时，如LongVideoBench和MMLongBench-Doc基准测试，表现远超同级别其他模型，支持精准地检索和理解海量信息，为复杂任务提供更全面的上下文支持。
更强的视觉能力：与其他开源视觉语言模型相比，Kimi-VL在视觉感知、视觉世界知识、OCR及高分辨率屏幕快照解析等多个视觉场景中，均展现出全面且显著的竞争优势。对复杂图像的细节捕捉和对视觉信息的深度理解，Kimi-VL都能精准高效地完成任务。