当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > 快手多模态大模型KwaiKeye-VL上线

快手多模态大模型KwaiKeye-VL上线

2025-06-28 19:32:55 0浏览收藏

**快手发布多模态大模型Kwai Keye-VL，赋能智能交互新体验** 快手重磅推出自主研发的多模态大语言模型Kwai Keye-VL，该模型基于Qwen3-8B并融合SigLIP视觉编码器，能够高效处理文本、图像、视频等多模态信息。Kwai Keye-VL在视频理解、复杂视觉感知和逻辑推理方面表现卓越，甚至在高考数学卷中取得佳绩。通过自适应交互机制与动态推理能力，为用户提供更智能、全面的多模态交互体验。目前已正式开源，为多模态研究和应用提供强大支撑，助力视频内容创作、智能客服、教育辅导等多个领域。该模型的技术架构、预训练方法及后训练策略均进行了创新设计，旨在提升模型性能与稳定性。了解更多信息，请访问项目官网及GitHub仓库。

Kwai Keye-VL简介

Kwai Keye-VL 是由快手自主研发的多模态大语言模型，基于 Qwen3-8B 语言模型结合SigLIP初始化的视觉编码器，支持动态分辨率输入。该模型能够深度融合并处理文本、图像、视频等多种类型的信息，借助创新的自适应交互机制与动态推理能力，旨在为用户提供更智能、全面的多模态交互体验。其在视频理解、复杂视觉感知以及逻辑推理方面表现尤为突出，甚至在2025年高考全国数学卷中取得了140分的优异成绩。目前该模型已正式开源，为多模态研究和应用提供了强大支撑。

Kwai Keye-VL的核心功能

视频理解：深入解析短视频内容，例如识别场景、人物及动作等信息，并据此生成描述、标签或推荐相关内容。
图像识别与描述：自动分析图像细节，准确识别其中的物体和场景，并生成相应的文字描述。
逻辑推理：在各类复杂的逻辑推理任务中表现出色，如解决数学题、进行科学推导等。
多模态交互：具备处理文本、图像、视频等多种形式信息的能力，并实现模态之间的高效融合与交互。
智能创作：依托对多模态信息的理解能力，辅助用户进行内容创作，包括文案撰写、脚本设计及创意策划等。

Kwai Keye-VL的技术架构

模型结构：以Qwen3-8B语言模型为基础，整合SigLIP初始化的视觉编码器。支持动态分辨率输入，按原始比例将图像切分为14×14分块，通过MLP层整合视觉特征。采用3D RoPE（旋转位置编码）统一处理文本、图像和视频数据，利用位置编码与时间戳对齐，精准捕捉视频时序变化。
预训练方法：
- 对视觉编码器进行持续预训练，适配内部数据分布并支持动态分辨率输入；
- 冻结主干模型，仅训练轻量级MLP适配器，以极低成本高效建立图文/视频-文本对齐关系；
- 解锁全部参数，开展多任务联合训练，全面提升综合视觉理解能力；
- 使用高质量数据进行微调，进一步增强模型的精细理解和判别能力；
- 探索同构异质融合技术，通过参数平均融合不同数据配比下的退火训练模型，在保留多维能力的同时减小偏差，提升鲁棒性。
后训练策略：
- 非推理训练（No-Reasoning Training）：使用500万条高质量多模态VQA数据，数据多样性由自研TaskGalaxy方案构建的任务体系（包含7万种任务）保障，质量控制则依靠AI筛选困难样本及人工标注。结合开源数据与自建偏好数据（后者来源于SFT错误样本提问素材、Qwen2.5VL 72B与SFT模型生成答案对、人工排序结果），确保训练效果。
- 推理训练（Reasoning Training）：混合四种推理模式的数据，从零激活模型思维链能力，初步掌握人类分步思考的推理范式。在此基础上，采用GRPO算法进行混合模式强化学习，基于双轨奖励机制（同步评估结果正确性与过程一致性）深度优化多模态感知、数学推理、短视频理解及智能体协同等综合能力，显著提升模型推理水平。再通过MPO算法对优劣数据对进行多轮迭代，彻底解决内容重复崩溃与逻辑断层问题，最终赋予模型根据问题复杂度智能选择深度推理模式的自适应能力，实现性能与稳定性的双重突破。