芯原NPU低功耗，支持大模型推理

**芯原NPU超低能耗，赋能移动设备大模型推理** 芯原股份发布最新高性能、超低功耗NPU IP，专为满足移动设备日益增长的生成式AI需求而设计。该NPU IP算力可扩展至40TOPS以上，具备高能效比，完美支持AI PC及智能手机等终端设备。其高度可配置和可扩展的设计，支持混合精度运算、稀疏优化及并行处理，有效降低功耗和延迟。兼容包括Stable Diffusion和LLaMA-7B在内的数百种AI算法，并可与芯原其他处理器IP无缝结合，实现异构计算。芯原NPU IP全面兼容TensorFlow Lite、ONNX和PyTorch等主流AI框架，助力客户加速AI应用部署。芯原持续投入超低功耗NPU研发，与主流SoC厂商深度合作，推动该技术在新一代智能终端中量产落地，满足市场对移动设备AI算力的爆发式增长需求。

2025年6月9日，中国上海——芯原股份（芯原，股票代码：688521.SH）今日宣布其高性能且超低功耗的神经网络处理器（NPU）IP现已可在移动设备上实现大语言模型（LLM）推理，AI算力可扩展至超过40 TOPS。该NPU架构具有高能效比，专为满足移动平台不断增长的生成式AI需求而打造，不仅能为AI PC等终端设备提供强大算力支撑，同时也能应对智能手机等移动设备对低功耗提出的更高要求。

芯原的这款超低功耗NPU IP采用高度可配置和可扩展的设计，支持混合精度运算、稀疏优化以及并行处理能力。其架构融合了高效的内存管理机制与稀疏感知加速技术，显著减少计算负载和延迟，保障AI任务运行流畅、响应快速。该NPU可支持数百种AI算法，包括AI降噪（AI-NR）、AI超分辨率（AI-SR）等，并兼容Stable Diffusion和LLaMA-7B等主流AI模型。此外，该NPU IP还可与芯原其他处理器IP无缝结合，实现异构计算，帮助SoC设计者开发适用于多种场景的AI解决方案。

同时，芯原的NPU IP也全面兼容TensorFlow Lite、ONNX和PyTorch等主流AI框架，有助于客户加快在各类AI应用场景中的部署进度，并简化集成流程。

“随着生成式AI（AIGC）和多模态大语言模型的快速发展，智能手机等移动设备正逐步成为用户的个人AI中心，市场对AI算力的需求呈现爆发式增长，并已成为移动产品的重要差异化指标。”芯原首席战略官、执行副总裁兼IP事业部总经理戴伟进表示，“在应对高强度AI计算的过程中，如何有效控制功耗是最大挑战之一。芯原持续投入面向智能手机和AI PC的超低功耗NPU研发，并通过与主流SoC厂商的深度合作，成功推动该技术在新一代智能终端中实现量产落地。”

以上就是《芯原NPU低功耗，支持大模型推理》的详细内容，更多关于AI,算力,移动设备,低功耗,NPU的资料请关注golang学习网公众号！