FP和BF有什么区别这里给你很好的解释
小伙伴们有没有觉得学习文章很有意思?有意思就对了!今天就给大家带来《FP和BF有什么区别这里给你很好的解释》,以下内容将会涉及到,若是在学习中对其中部分知识点有疑问,或许看了本文就能帮到你!

浮点表示:
fp16(半精度):在 fp16 中,浮点数使用 16 位表示。它由 1 个符号位、5 位指数和 10 位分数(尾数)组成。这种格式为表示其范围内的小数值提供了更高的精度。
bf16 (bfloat16):bf16 也使用 16 位,但分布不同。它有 1 个符号位、8 位指数、7 位尾数。这种格式牺牲了小数部分的一些精度以适应更广泛的指数。
数值范围:
fp16 由于其 10 位尾数,其范围较小,但在该范围内精度较高。
bf16 由于其 8 位指数和 7 位尾数,其小数范围较宽,但精度较低。
示例:
我们用3个例子来说明fp16和bf16的区别。使用tensorflow来做测试和代码共享在底层:
原始值:0.0001 — 两种方法都可以表示
fp16: 0.00010001659393 (二进制:0|00001|1010001110,十六进制:068e) — 10 个尾数和 5 个指数
bf16: 0.00010013580322(二进制:0|01110001| 1010010,十六进制:38d2) — 7 个尾数和 8 个指数
如您所见,它们具有不同的指数和尾数,因此能够表示不同的值。 但是我们可以看到fp16表示得更准确,数值更接近。
原始值:1e-08(0.00000001)
fp16:0.00000000000000(二进制:0|00000|0000000000,十六进制:0000)
bf16:0.00000001001172(二进制:0|01100100|0101100,十六进制:322c)
这是一个非常有趣的案例。 fp16 失败 并使结果为 0,但 bf16 能够用特殊格式表示它。
原始值:100000.00001
fp16:inf(二进制:0|11111|0000000000,十六进制:7c00)
bf16:99840.00000000000000(二进制:0|10001111|100) 0011,十六进制:47c3)
在上面的情况下,fp16 失败,因为所有指数位都已满并且不足以表示该值。然而 bf16 有效
用例:
fp16 常用于深度学习训练和推理,特别是对于需要高精度表示有限范围内的小分数值的任务。
bf16 在为机器学习任务设计的硬件架构中变得越来越流行,这些任务受益于更广泛的可表示值,即使以小数部分的一些精度为代价。当处理大梯度或当大范围内的数值稳定性比小值的精度更重要时,它特别有用。
总结一下
fp16 为较小范围内的小数值提供了更高的精度,使其适合需要精确表示小数字的任务。另一方面,bf16 以牺牲一定精度为代价提供了更广泛的范围,这使得它有利于涉及更广泛值范围或在大范围内的数值稳定性至关重要的任务。 fp16 和 bf16 之间的选择取决于手头机器学习任务的具体要求。
最终结论
由于以上原因,在进行 stable diffusion xl (sdxl) 训练时,fp16 和 bf16 需要的学习率略有不同,我发现 bf16 效果更好。
用于生成上述示例的代码
import tensorflow as tf
import struct
def float_to_binary(f):
return ''.join(f'{b:08b}' for b in struct.pack('>f', f))
def display_fp16(value):
fp16 = tf.cast(tf.constant(value, dtype=tf.float32), tf.float16)
fp32 = tf.cast(fp16, tf.float32)
binary = format(int.from_bytes(fp16.numpy().tobytes(), 'big'), '016b')
sign = binary[0]
exponent = binary[1:6]
fraction = binary[6:]
return f"FP16: {fp32.numpy():14.14f} (Binary: {sign}|{exponent}|{fraction}, Hex: {fp16.numpy().view('uint16'):04X})"
def display_bf16(value):
bf16 = tf.cast(tf.constant(value, dtype=tf.float32), tf.bfloat16)
bf32 = tf.cast(bf16, tf.float32)
binary = format(int.from_bytes(bf16.numpy().tobytes(), 'big'), '016b')
sign = binary[0]
exponent = binary[1:9]
fraction = binary[9:]
return f"BF16: {bf32.numpy():14.14f} (Binary: {sign}|{exponent}|{fraction}, Hex: {bf16.numpy().view('uint16'):04X})"
values = [0.0001, 0.00000001, 100000.00001]
for value in values:
print(f"\nOriginal value: {value}")
print(display_fp16(value))
print(display_bf16(value))
到这里,我们也就讲完了《FP和BF有什么区别这里给你很好的解释》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于的知识点!
HTML、CSS 和 JavaScript 的工作原理
- 上一篇
- HTML、CSS 和 JavaScript 的工作原理
- 下一篇
- 使用 Python3 构建 Web 应用程序
-
- 文章 · python教程 | 1天前 | 线程池 · Python 线程池 concurrent.futures 任务取消 Future.cancel
- Python concurrent.futures.Future.cancel 怎样判断任务能否取消
- 143浏览 收藏
-
- 文章 · python教程 | 1天前 | 标准库 · HTTP服务 · 多线程 · Python教程 · Python 并发请求 http.server ThreadingHTTPServer ThreadingMixIn BaseHTTPRequestHandler
- Python http.server ThreadingHTTPServer 怎样处理并发请求
- 481浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python tarfile.TarInfo.replace 怎样复制归档成员属性
- 308浏览 收藏
-
- 文章 · python教程 | 1天前 | 并发编程 · Python教程 · Python 多进程 multiprocessing forkserver 启动上下文
- Python multiprocessing forkserver 怎样处理进程启动上下文
- 232浏览 收藏
-
- 文章 · python教程 | 1天前 | 标准库 · 异步编程 · Python教程 · Python asyncio StreamReader readexactly IncompleteReadError 异步流
- Python asyncio.StreamReader.readexactly 怎样处理不足长度的输入
- 427浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python operator.length_hint 怎样为未知长度迭代器设置估计值
- 336浏览 收藏
-
- 文章 · python教程 | 1天前 | 标准库 · Python教程 · Python warnings catch_warnings simplefilter filterwarnings 警告过滤
- Python warnings context manager 怎样临时调整警告过滤
- 255浏览 收藏
-
- 文章 · python教程 | 1天前 | 调试 · python · 异步编程 · Python asyncio introspection current_task all_tasks
- Python asyncio introspection 怎样定位当前任务
- 120浏览 收藏
-
- 文章 · python教程 | 1天前 | 标准库 · Python教程 · Python 类型注解 Python 3.14 annotationlib get_annotations ForwardRef 延迟注解
- Python 3.14 annotationlib.get_annotations 怎样读取延迟注解
- 423浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python 3.14 跨解释器 Queue.put 的阻塞与 QueueFull 处理方案
- 157浏览 收藏
-
- 文章 · python教程 | 1天前 | xml · python · Python xml xml.etree.ElementTree canonicalize C14N
- Python xml.etree.ElementTree.canonicalize 怎样生成稳定的 XML 文本
- 151浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1158次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1141次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1320次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1261次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1119次使用
-
- Python TaskGroup 怎样让子任务失败统一收敛
- 2026-11-12 501浏览
-
- Python xml.dom.minidom.unlink 怎样释放不再使用的 DOM 树引用
- 2026-10-27 501浏览
-
- Python typing 怎样用 TypeIs 缩小类型
- 2026-10-24 501浏览
-
- Python sqlite3 Connection serialize 怎么导出数据库快照:备份窗口、内存占用与恢复校验
- 2026-08-26 501浏览
-
- Python监控网页状态:requests异常处理实战
- 2026-05-29 501浏览

