FP和BF有什么区别这里给你很好的解释

小伙伴们有没有觉得学习文章很有意思？有意思就对了！今天就给大家带来《FP和BF有什么区别这里给你很好的解释》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

浮点表示：

fp16（半精度）：在 fp16 中，浮点数使用 16 位表示。它由 1 个符号位、5 位指数和 10 位分数（尾数）组成。这种格式为表示其范围内的小数值提供了更高的精度。

bf16 (bfloat16)：bf16 也使用 16 位，但分布不同。它有 1 个符号位、8 位指数、7 位尾数。这种格式牺牲了小数部分的一些精度以适应更广泛的指数。

数值范围：

fp16 由于其 10 位尾数，其范围较小，但在该范围内精度较高。
bf16 由于其 8 位指数和 7 位尾数，其小数范围较宽，但精度较低。

示例：

我们用3个例子来说明fp16和bf16的区别。使用tensorflow来做测试和代码共享在底层：

原始值：0.0001 — 两种方法都可以表示
fp16： 0.00010001659393 （二进制：0|00001|1010001110，十六进制：068e） — 10 个尾数和 5 个指数
bf16： 0.00010013580322（二进制：0|01110001| 1010010，十六进制：38d2) — 7 个尾数和 8 个指数

如您所见，它们具有不同的指数和尾数，因此能够表示不同的值。 但是我们可以看到fp16表示得更准确，数值更接近。

原始值：1e-08（0.00000001）
fp16：0.00000000000000（二进制：0|00000|0000000000，十六进制：0000）
bf16：0.00000001001172（二进制：0|01100100|0101100，十六进制：322c）

这是一个非常有趣的案例。 fp16 失败 并使结果为 0，但 bf16 能够用特殊格式表示它。

原始值：100000.00001
fp16：inf（二进制：0|11111|0000000000，十六进制：7c00）
bf16：99840.00000000000000（二进制：0|10001111|100） 0011，十六进制：47c3）

在上面的情况下，fp16 失败，因为所有指数位都已满并且不足以表示该值。然而 bf16 有效

用例：

fp16 常用于深度学习训练和推理，特别是对于需要高精度表示有限范围内的小分数值的任务。

bf16 在为机器学习任务设计的硬件架构中变得越来越流行，这些任务受益于更广泛的可表示值，即使以小数部分的一些精度为代价。当处理大梯度或当大范围内的数值稳定性比小值的精度更重要时，它特别有用。

总结一下

fp16 为较小范围内的小数值提供了更高的精度，使其适合需要精确表示小数字的任务。另一方面，bf16 以牺牲一定精度为代价提供了更广泛的范围，这使得它有利于涉及更广泛值范围或在大范围内的数值稳定性至关重要的任务。 fp16 和 bf16 之间的选择取决于手头机器学习任务的具体要求。

最终结论

由于以上原因，在进行 stable diffusion xl (sdxl) 训练时，fp16 和 bf16 需要的学习率略有不同，我发现 bf16 效果更好。

用于生成上述示例的代码

import tensorflow as tf
import struct

def float_to_binary(f):
    return ''.join(f'{b:08b}' for b in struct.pack('>f', f))

def display_fp16(value):
    fp16 = tf.cast(tf.constant(value, dtype=tf.float32), tf.float16)
    fp32 = tf.cast(fp16, tf.float32)
    binary = format(int.from_bytes(fp16.numpy().tobytes(), 'big'), '016b')
    sign = binary[0]
    exponent = binary[1:6]
    fraction = binary[6:]
    return f"FP16: {fp32.numpy():14.14f} (Binary: {sign}|{exponent}|{fraction}, Hex: {fp16.numpy().view('uint16'):04X})"

def display_bf16(value):
    bf16 = tf.cast(tf.constant(value, dtype=tf.float32), tf.bfloat16)
    bf32 = tf.cast(bf16, tf.float32)
    binary = format(int.from_bytes(bf16.numpy().tobytes(), 'big'), '016b')
    sign = binary[0]
    exponent = binary[1:9]
    fraction = binary[9:]
    return f"BF16: {bf32.numpy():14.14f} (Binary: {sign}|{exponent}|{fraction}, Hex: {bf16.numpy().view('uint16'):04X})"

values = [0.0001, 0.00000001, 100000.00001]

for value in values:
    print(f"\nOriginal value: {value}")
    print(display_fp16(value))
    print(display_bf16(value))

到这里，我们也就讲完了《FP和BF有什么区别这里给你很好的解释》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！