IBM推出Granite4.0TinyPreview语言模型

IBM 发布了 Granite 4.0 语言模型系列中最小的模型预览版本——Granite 4.0 Tiny Preview。该模型以其高效的计算能力和紧凑的结构为特色，能够在消费级 GPU 上运行多个长上下文（128K）任务。Granite 4.0 Tiny Preview 采用创新的混合 Mamba-2/Transformer 架构，结合了 Mamba 的高效性和 Transformer 的精确性，支持无位置编码（NoPE），能够处理极长的上下文长度。其主要功能包括高效运行、低内存需求、长上下文处理和推理效率，适用于边缘设备部署、长文本分析、多任务并行和企业应用开发等场景。

Granite 4.0 Tiny Preview 是 IBM 发布的 Granite 4.0 语言模型系列中最小的模型的预览版本。该模型以其高效的计算能力和紧凑的结构为特色，能够在消费级 GPU 上运行多个长上下文（128K）任务，其性能接近 Granite 3.3 2B Instruct，同时内存需求减少了约 72%。Granite 4.0 Tiny Preview 采用创新的混合 Mamba-2/Transformer 架构，结合了 Mamba 的高效性和 Transformer 的精确性，支持无位置编码（NoPE），能够处理极长的上下文长度。

Granite 4.0 Tiny Preview 的主要功能包括：

• 高效运行：在消费级 GPU 上，能够同时运行多个长上下文（128K）任务，适合资源有限的开发者。
• 低内存需求：内存需求减少约 72%，推理时仅激活 1B 参数（总参数 7B），大幅降低硬件要求。
• 长上下文处理：支持无位置编码（NoPE），已验证能处理至少 128K 的长上下文。
• 推理效率：推理时仅激活部分专家，提升效率、减少延迟。

Granite 4.0 Tiny Preview 的技术原理包括：

• 混合架构：结合 Mamba 的线性计算复杂度（适合长序列）和 Transformer 的精确自注意力机制。模型中 9 个 Mamba 块对应 1 个 Transformer 块，Mamba 块负责高效捕获全局上下文，Transformer 块用于解析局部上下文。
• 混合专家（MoE）：模型包含 7B 参数，分为 64 个专家，推理时仅激活 1B 参数，大幅减少计算资源消耗。
• 无位置编码（NoPE）：摒弃传统的位置编码技术，避免因位置编码带来的计算负担和对长序列的限制，保持长上下文性能。
• 长上下文优化：基于 Mamba 的线性扩展能力和紧凑的模型设计，支持极长上下文长度，理论上能扩展至硬件极限。

Granite 4.0 Tiny Preview 的项目地址包括：

• 项目官网：http://www.ibm.com/new/announcements/ibm-granite-4-0-tiny-preview
• HuggingFace 模型库：http://huggingface.co/ibm-granite/granite-4.0-tiny-preview

Granite 4.0 Tiny Preview 的应用场景包括：

• 边缘设备部署：适合在资源有限的边缘设备或消费级硬件上运行，用于轻量级文本处理任务。
• 长文本分析：能够处理长上下文（128K tokens），适用于长文本生成、分析或摘要。
• 多任务并行：在同一硬件上同时运行多个实例，适合批量处理或多用户场景。
• 企业应用开发：用于智能客服、文档处理等企业级任务，提供高效的语言模型支持。
• 低成本研发：开源且支持消费级硬件，方便开发者低成本实验和创新。

终于介绍完啦！小伙伴们，这篇关于《IBM推出Granite4.0TinyPreview语言模型》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！