浮点数格式:范围、精度和字节数¶
只改变两个低位,哪种格式还看得出来?¶
比较 1 和 1 + 1/512。保留小数的位数有限时,可表示的数像尺子上的刻度。两种占 16 位的浮点格式 FP16 和 BF16,在 1 附近向上的刻度间隔分别是 1/1024 和 1/128。第二个数正好落在 FP16 的刻度上。若采用 BF16,离它最近的刻度却是 1,保存时两个数就相同了。接下来看看同样的 16 位为何能做出两把不同的尺子。
更精细的表述一定能容纳更大的值吗?
需要分别看范围和精度。更多小数位让相邻值更密;更多指数位则能覆盖更多数量级。有限的位数要在两者之间分配。
先修:整数和浮点表示。
读完能做:比较 FP32、FP16 和 BF16,区分数值格式、运算结果和性能。
用有限位数同时表示大数和小数¶
科学记数法把一个数拆成符号、有效数字和指数。二进制浮点也这样做。对于普通的规格化数,指数决定数主要落在哪个数量级,小数字段决定同一数量级里相邻的可表示数隔多远。
| 格式 | 符号位 | 指数位 | 小数字段位 | 一个值占用 |
|---|---|---|---|---|
| FP32 | 1 | 8 | 23 | 4 字节 |
| FP16 | 1 | 5 | 10 | 2 字节 |
| BF16 | 1 | 8 | 7 | 2 字节 |
在 1 附近向上看,FP16 的下一个值是 \(1+2^{-10}\),BF16 则是 \(1+2^{-7}\)。两者都比 FP32 稀疏。BF16 保留和 FP32 一样多的指数位,规格化数有接近的指数范围。FP16 在 1 附近更细,但最大有限值只有 65504。保存 100000 时,FP16 无法给出有限的近似值,BF16 可以表示它附近的有限值。
保存格式和累加格式¶
点积把两组数按对应位置相乘,再把所有乘积相加。例如,[2, 3] 与 [4, 5] 的点积是 2×4 + 3×5 = 23。即使输入用 16 位存放,也可以用位数更多的累加器保存加到一半的结果。实际是否这样做取决于硬件、指令和库选择。中间结果也可能被舍入或溢出,因此比较模型运行配置时,要分别记下输入、乘法和累加的精度。
把一百万个 FP32 元素存成 16 位,数组本身从 4 MB 变为 2 MB。传输字节数减少,但总时间还包括转换、指令执行、缓存和其他数据的搬运。用同一形状、同一工作负载分别测时,并检查误差,才能判断是否值得切换。
自测¶
两种 16 位格式为什么不能只根据字节数互换?如果任务几乎只处理 1 附近的值,你会先比较什么?
参考思路
指数位数和小数字段的分配不同,表示范围和舍入误差也不同。可先比较 1 附近的间隔和真实数据的误差,再检查是否出现溢出、下溢,以及目标硬件支持哪种运算。
数值格式与硬件计算示例见 NVIDIA CUDA Programming Guide。