老黄给H100“打鸡血”：英伟达推出大模型加速包，Llama2推理速度翻倍
有志者，事竟成！如果你在学习科技周边，那么本文《老黄给H100“打鸡血”：英伟达推出大模型加速包，Llama2推理速度翻倍》，就很适合你！文章讲解的知识点主要包括，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~
大模型的推理速度，仅仅一个月就提高了一倍！
近日，英伟达宣布推出了一款专为H100设计的“鸡血包”，旨在加速LLM推理过程
或许这下可以不用空等明年才能交付的GH200了
。
GPU的计算能力一直在影响着大型模型的性能，无论是硬件供应商还是使用者，都希望能够获得更快的计算速度
而作为大模型背后硬件的最大供应商，英伟达一直在研究怎么给大模型硬件加速。
通过与多家AI公司合作，英伟达终于推出了大模型推理优化程序TensorRT-LLM(暂且简称TensorRT)。
TensorRT不仅能让大模型的推理速度翻番，使用起来也十分方便。
无需深入了解C++和CUDA，也能快速定制优化策略，在H100上更快地跑大模型。
英伟达科学家范麟熙(Jim Fan)转发并评论称，英伟达的“另一项优势”就是可以最大化利用GPU性能的配套软件。
英伟达通过软件给产品注入了新的活力，就像实践了老黄的那句“买得越多，省得越多”。然而，这并不妨碍一些人觉得产品价格太高
除了价格，也有网友对其运行效果提出了质疑：
我们总是看到(宣传中的)多少倍的性能提升，但自己运行Llama 2的时候每秒还是只能处理几十个token。
对于TensorRT来说，我们需要进一步进行检验，以确定它是否真的有效。让我们先来详细了解一下TensorRT
大模型推理速度翻倍
TensorRT-LLM优化后的H100，对于运行大型模型来说速度有多快呢？
英伟达的通告中给出了Llama 2和GPT-J-6B两种模型的数据。
在经过优化后的H100上，跑Llama 2的推理速度是A100的4.6倍，也是八月份未经优化的H100的1.77倍
而GPT-J-6B的推理速度是A100上的8倍、八月未优化版的2倍。
TensorRT还提供了一个开源的模块化Python API，可以根据不同的LLM需求快速定制优化方案
这个API将深度学习编译器、内核优化、预/后处理和多节点通信功能集成到了一起。
其中针对GPT(2/3)、Llama等常见模型，还有已经定制好的版本，可以“开箱即用”。
通过TensorRT中最新的开源AI内核，开发者还可以对模型自身进行优化，其中就包括了让Transformer大大提速的注意力算法FlashAttention。
TensorRT是一个用于优化深度学习推理的高性能推理引擎。它通过使用混合精度计算、动态图优化和层融合等技术，对LLM推理速度进行了优化。具体而言，TensorRT通过将浮点计算转换为半精度浮点计算，减少了计算量和内存带宽的需求，从而提高了推理速度。此外，TensorRT还使用了动态图优化技术，根据输入数据的特征动态地选择最优的网络结构，进一步提高了推理速度。另外，TensorRT还通过层融合技术将多个计算层合并为一个更高效的计算层，减少了计算和内存访问的开销，进一步提高了推理速度。总之，TensorRT通过多种优化技术，显著提升了LLM推理的速度和效率
首先要得益于TensorRT对多节点协同工作方式进行了优化。
像Llama这样庞大的模型，在单卡上是跑不起来的，需要多块GPU一起跑才能带动。
过去，这一工作需要人们手工把模型拆开来实现。
有了TensorRT，系统能够自动地对模型进行拆分，并且通过NVLink在多个GPU之间高效运行
其次，TensorRT还利用了一种名为动态批处理的优化调度技术。
在推理过程中，LLM实际上是通过多次执行模型迭代来进行的
动态批处理技术会将已完成的序列立即踢出，而不是等待整批任务完成后再处理下一组请求。
在实际测试中，动态批处理技术成功地将LLM的GPU请求吞吐量减少了一半，从而显著降低了运行成本
另一个关键点则是将16位精度浮点数转换为8位精度，从而降低内存消耗。
FP8相对于训练阶段的FP16来说，资源消耗更低，同时精确度又高于INT-8，既能提高性能，又不影响模型的准确性
使用Hopper Transformer引擎，系统会自动完成FP16到FP8的转换编译，无需手动修改模型中的任何代码
目前，TensorRT-LLM的早鸟版已经可以下载，正式版将在几周内推出并集成到NeMo框架中
One More Thing
每当大事件出现，总少不了“列文虎克”的身影。
在英伟达的公告中提到了与Meta等人工智能领军企业合作，但没有提及OpenAI
从这则通告中，就有网友发现了这个华点，并发到了OpenAI论坛上：
请让我看看是谁没有被老黄cue到（手动狗头）
你还期待老黄会给我们带来怎样的“惊喜”呢？
本篇关于《老黄给H100“打鸡血”：英伟达推出大模型加速包，Llama2推理速度翻倍》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！
北航打破模态壁垒，跨可见光-红外模态的通用物理对抗打击方法来了
- 上一篇
- 北航打破模态壁垒，跨可见光-红外模态的通用物理对抗打击方法来了
- 下一篇
- 逍遥子突然辞去阿里所有职务！不再担任董事长，同时放弃阿里云CEO职位
-
- 科技周边 · 人工智能 | 25分钟前 | 百度AI
- 百度AI官网入口链接_智能平台直达入口
- 122浏览 收藏
-
- 科技周边 · 人工智能 | 2小时前 |
- 豆包AI聊天记录会保存吗？隐私政策全解析
- 152浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 |
- 即梦通知开关怎么设置教程
- 372浏览 收藏
-
- 科技周边 · 人工智能 | 3小时前 |
- Deepseek联手Loomly，社交运营新策略发布
- 245浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 485次学习
-
- ChatExcel酷表
- ChatExcel酷表是由北京大学团队打造的Excel聊天机器人，用自然语言操控表格，简化数据处理，告别繁琐操作，提升工作效率！适用于学生、上班族及政府人员。
- 3178次使用
-
- Any绘本
- 探索Any绘本（anypicturebook.com/zh），一款开源免费的AI绘本创作工具，基于Google Gemini与Flux AI模型，让您轻松创作个性化绘本。适用于家庭、教育、创作等多种场景，零门槛，高自由度，技术透明，本地可控。
- 3389次使用
-
- 可赞AI
- 可赞AI，AI驱动的办公可视化智能工具，助您轻松实现文本与可视化元素高效转化。无论是智能文档生成、多格式文本解析，还是一键生成专业图表、脑图、知识卡片，可赞AI都能让信息处理更清晰高效。覆盖数据汇报、会议纪要、内容营销等全场景，大幅提升办公效率，降低专业门槛，是您提升工作效率的得力助手。
- 3418次使用
-
- 星月写作
- 星月写作是国内首款聚焦中文网络小说创作的AI辅助工具，解决网文作者从构思到变现的全流程痛点。AI扫榜、专属模板、全链路适配，助力新人快速上手，资深作者效率倍增。
- 4523次使用
-
- MagicLight
- MagicLight.ai是全球首款叙事驱动型AI动画视频创作平台，专注于解决从故事想法到完整动画的全流程痛点。它通过自研AI模型，保障角色、风格、场景高度一致性，让零动画经验者也能高效产出专业级叙事内容。广泛适用于独立创作者、动画工作室、教育机构及企业营销，助您轻松实现创意落地与商业化。
- 3797次使用
-
- GPT-4王者加冕！读图做题性能炸天，凭自己就能考上斯坦福
- 2023-04-25 501浏览
-
- 单块V100训练模型提速72倍！尤洋团队新成果获AAAI 2023杰出论文奖
- 2023-04-24 501浏览
-
- ChatGPT 真的会接管世界吗？
- 2023-04-13 501浏览
-
- VR的终极形态是「假眼」？Neuralink前联合创始人掏出新产品：科学之眼！
- 2023-04-30 501浏览
-
- 实现实时制造可视性优势有哪些？
- 2023-04-15 501浏览
