跳转至

浮点数格式:范围、精度和字节数

只改变两个低位,哪种格式还看得出来?

比较 1 和 1 + 1/512。保留小数的位数有限时,可表示的数像尺子上的刻度。两种占 16 位的浮点格式 FP16 和 BF16,在 1 附近向上的刻度间隔分别是 1/1024 和 1/128。第二个数正好落在 FP16 的刻度上。若采用 BF16,离它最近的刻度却是 1,保存时两个数就相同了。接下来看看同样的 16 位为何能做出两把不同的尺子。

更精细的表述一定能容纳更大的值吗?

需要分别看范围和精度。更多小数位让相邻值更密;更多指数位则能覆盖更多数量级。有限的位数要在两者之间分配。

先修:整数和浮点表示。

读完能做:比较 FP32、FP16 和 BF16,区分数值格式、运算结果和性能。

用有限位数同时表示大数和小数

科学记数法把一个数拆成符号、有效数字和指数。二进制浮点也这样做。对于普通的规格化数,指数决定数主要落在哪个数量级,小数字段决定同一数量级里相邻的可表示数隔多远。

格式 符号位 指数位 小数字段位 一个值占用
FP32 1 8 23 4 字节
FP16 1 5 10 2 字节
BF16 1 8 7 2 字节

在 1 附近向上看,FP16 的下一个值是 \(1+2^{-10}\),BF16 则是 \(1+2^{-7}\)。两者都比 FP32 稀疏。BF16 保留和 FP32 一样多的指数位,规格化数有接近的指数范围。FP16 在 1 附近更细,但最大有限值只有 65504。保存 100000 时,FP16 无法给出有限的近似值,BF16 可以表示它附近的有限值。

保存格式和累加格式

点积把两组数按对应位置相乘,再把所有乘积相加。例如,[2, 3] 与 [4, 5] 的点积是 2×4 + 3×5 = 23。即使输入用 16 位存放,也可以用位数更多的累加器保存加到一半的结果。实际是否这样做取决于硬件、指令和库选择。中间结果也可能被舍入或溢出,因此比较模型运行配置时,要分别记下输入、乘法和累加的精度。

把一百万个 FP32 元素存成 16 位,数组本身从 4 MB 变为 2 MB。传输字节数减少,但总时间还包括转换、指令执行、缓存和其他数据的搬运。用同一形状、同一工作负载分别测时,并检查误差,才能判断是否值得切换。

自测

两种 16 位格式为什么不能只根据字节数互换?如果任务几乎只处理 1 附近的值,你会先比较什么?

参考思路

指数位数和小数字段的分配不同,表示范围和舍入误差也不同。可先比较 1 附近的间隔和真实数据的误差,再检查是否出现溢出、下溢,以及目标硬件支持哪种运算。

数值格式与硬件计算示例见 NVIDIA CUDA Programming Guide。