跳转至

流水线、冒险、转发与停顿

后一句马上要前一句的结果,赶得上吗?

可以先回看一条指令的五个阶段。第一条 add 在第 3 拍算出结果,紧接的第二条第 4 拍才开始计算。加一条绕过「先写寄存器、再读寄存器」的路径,就能把上拍结果直接送给它,这叫转发。换成 lw 后,要到第 4 拍末尾才从内存拿到值,经典实现通常让第二条指令多等一拍,这叫停顿。

加了转发,为什么不一定能消掉所有停顿?

转发只能把已经产生的值送过来。后一句需要值的时刻早于值出现的时刻,仍须等或改变执行安排。

五级流水线

从左到右是取指(IF)、译码(ID)、执行(EX)、访存(MEM)、写回(WB)。两个阶段之间用流水寄存器保留上一步产出的值,让它在下一拍交给下游。第 \(i\) 条指令进入 EX 时,第 \(i+1\) 条可在 ID,第 \(i+2\) 条可在 IF。

周期: 1   2   3   4   5   6   7
I1:   IF  ID  EX  MEM WB
I2:       IF  ID  EX  MEM WB
I3:           IF  ID  EX  MEM WB

流水寄存器保存阶段输出,让各阶段在同一周期并行工作。代价是额外面积、时钟功耗和寄存器延迟。

结构冒险

两条指令同一拍争用同一个资源,就是结构冒险。例如指令和数据共享单端口存储器时,前一条 load 的 MEM 与后一条指令的 IF 同时访问会冲突。

解决办法包括:

  • 复制资源,如分离指令 cache 与数据 cache;
  • 增加端口;
  • 调度一方停顿。

复制资源提高吞吐但增加面积和功耗;停顿便宜却损失性能。

数据冒险

考虑:

add x5, x1, x2
sub x6, x5, x3

sub 在 ID 读 x5 时,add 可能尚未到 WB,直接读取会得到旧值。这是写后读(RAW)相关。

在简单按序五级流水线中,主要需要处理 RAW。还有两种冲突和复用寄存器编号有关。若两条都写 x5,晚到的写应当最终留下(写后写,WAW)。若先前指令先读 x5,后面一条写 x5,读取时应当还能得到旧值(读后写,WAR)。简单的按序五级流水线不会颠倒这些步骤。在让多条指令同拍进入流水线或允许后到指令先算的设计里,可以把同一编号的不同版本映射到不同的内部存储位置,称为寄存器重命名。

转发

add 的结果在 EX 末尾已经算出,无需等到 WB 才可用。转发网络从 EX 与 MEM 之间或 MEM 与 WB 之间的流水寄存器取值,直接送给下一条指令的算术逻辑单元(ALU):

add.EX result ─────────> sub.EX input

转发减少停顿,却增加比较器、多路选择器和关键路径。控制器要比较后续源寄存器号与在途目的寄存器号,并忽略写 x0 等特殊情况。

load-use 仍需停顿

lw  x5, 0(x10)
add x6, x5, x7

load 的数据到 MEM 末尾才返回,而下一条 add 在同一周期 EX 开始就需要它。时间上来不及,即使有转发也通常要停顿一拍:

周期: 1   2   3   4   5   6   7
lw:    IF  ID  EX  MEM WB
add:       IF  ID  --  EX  MEM WB

-- 表示执行位置这一拍空着,叫气泡。实现时保持程序计数器和取指、译码之间寄存器的内容不变,再给执行位置送一个既不写寄存器也不写内存的空操作。下一拍等待中的 add 才真正执行。

控制冒险

分支是否跳转及目标地址可能到 EX 才确定,但前端已经取了后续顺序指令。可选择等待、提前计算分支,或预测方向和目标。预测错误时必须清空错误路径,不能让其写寄存器或内存。

控制冒险与分支预测会专门展开,因为现代前端的性能很大程度上取决于预测。

编译器调度

硬件停顿不是唯一办法。若有独立指令,编译器可把它移到 load 与使用者之间:

lw   x5, 0(x10)
addi x11, x11, 1
add  x6, x5, x7

这种静态调度不增加硬件,但受控制流和运行时延迟限制。现代系统常由编译器安排明显相关,硬件再处理动态事件。

流水线平衡

时钟周期由最慢阶段加流水寄存器开销决定:

\[ T_{clk}\ge \max_i(T_i)+T_{reg}. \]

若 MEM 明显慢于其他阶段,继续拆分 ALU 不会提高频率。均衡阶段可提升吞吐,但拆分过细会增加旁路层数、分支惩罚与验证成本。

自测

  1. 为何转发能解决 add 后立即使用,却常不能消除 load-use 停顿?
  2. 分离指令和数据 cache 消除了哪一种结构冒险?
  3. 在乱序处理器中为什么会出现 WAR 和 WAW?寄存器重命名解决了什么?