Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

欢迎各位小伙伴来到golang学习网，相聚于此都是缘哈哈哈！今天我给大家带来《Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型》，这篇文章主要讲到等等知识，如果你对科技周边相关的知识非常感兴趣或者正在自学，都可以关注我，我会持续更新相关文章！当然，有什么建议也欢迎在评论留言提出！一起学习！

3月4日消息显示，Intel最近在GitHub上发布了其NPU加速库，这一举措使得搭载酷睿Ultra处理器的AI PC能够更加顺畅地运行诸如TinyLlama、Gemma-2b等轻量级大型语言模型。

酷睿Ultra系列首次整合了NPU AI引擎，此引擎可处理一些轻量级的AI推理任务，并与CPU、GPU协同工作，以满足各种AI应用的要求。

据了解，虽然这次发布的NPU加速库主要是为开发人员准备的，但那些有一定编程经验的用户同样可以尝试使用。Intel的软件架构师Tony Mongkolsmai演示了如何在微星尊爵14 AI Evo笔记本电脑上运行一个基于11亿参数的TinyLlama大模型的AI聊天机器人，这个机器人可以进行简单的对话。同时，Windows任务管理器也显示了NPU的有效调用。

然而，当前的开源NPU加速库在功能上还存在一些不足，它支持8比特量化和FP16精度，但尚不支持4比特量化、BF16精度以及NPU/GPU的混合计算等高级功能，且相关技术文档也尚未提供。不过，Intel已承诺将在后续逐步扩展其功能，预期将比现有功能增加一倍，这无疑将为AI开发者们带来更多的便利和可能性。

今天关于《Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！