英伟达揭示新版 TensorRT-LLM：推理能力增长 5 倍，适用于 8GB 以上显卡本地运行，并支持 OpenAI 的 Chat API

积累知识，胜过积蓄金银！毕竟在科技周边开发的过程中，会遇到各种各样的问题，往往都是一些细节知识点还没有掌握好而导致的，因此基础知识点的积累是很重要的。下面本文《英伟达揭示新版 TensorRT-LLM：推理能力增长 5 倍，适用于 8GB 以上显卡本地运行，并支持 OpenAI 的 Chat API》，就带大家讲解一下知识点，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

11 月 16 日消息，微软 Ignite 2023 大会已于今天拉开帷幕，英伟达高管出席本次大会并宣布更新 TensorRT-LLM，添加了对 OpenAI Chat API 的支持。

英伟达在今年10月份发布了Tensor RT-LLM开源库，旨在为数据中心和Windows PC提供支持。这一开源库的最大特点是，当Windows PC搭载英伟达的GeForce RTX GPU时，TensorRT-LLM能够将LLM在Windows PC上的运行速度提高四倍

英伟达在今天 Ignite 2023 大会上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增强 DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。

TensorRT-LLM 可以在本地使用英伟达的 AI Workbench 完成。开发者可以利用这个统一且易于使用的工具包，在个人电脑或工作站上快速创建、测试和定制预训练的生成式 AI 模型和 LLM。英伟达还为此推出了一个抢先体验注册页面

英伟达将于本月晚些时候发布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。

在8GB显存以上的GeForce RTX 30系列和40系列GPU上，用户可以运行，并且一些便携式Windows设备也可以使用快速、准确的本地LLM功能

好了，本文到此结束，带大家了解了《英伟达揭示新版 TensorRT-LLM：推理能力增长 5 倍，适用于 8GB 以上显卡本地运行，并支持 OpenAI 的 Chat API》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多科技周边知识！