SIMD、多核与缓存一致性¶
两条线程写不同变量,为什么也可能互相拖慢?¶
设 A 和 B 各自修改一个计数器,两个计数器恰好在同一个缓存块里。每个核心写自己的变量时,仍要先取得整块的写入权,并让另一个核心里的那份旧副本失效。两边来回写时,写入权就会在核心之间反复转移。这叫伪共享。把计数器拆到不同缓存块可能减少转移,但会增加内存占用。
给两个计数器各加一把锁,一定能消掉伪共享吗?
锁解决的是访问顺序。只要两个值还在同一个缓存块内,写入仍可能争用该块;要检查布局和访问频率。
为什么需要多种并行¶
单条指令内部、连续数据元素之间、独立线程之间都有潜在并行。不同层次需要不同硬件:
- 指令级并行让多条无关指令重叠;
- 单指令多数据(SIMD)让同一条指令一次处理多组数字,例如四对数组元素同时相加。下面会画一次。
- 多核让多个线程真正同时执行;
- 多机并行再把通信扩展到网络。
并行不是复制运算单元就结束,还必须供给数据、划分任务并协调共享状态。
SIMD 与向量计算¶
一次只处理一对数的加法叫标量加法。如果用 SIMD 同时算四对,每个负责其中一对的位置叫一条通道(lane)。
理想情况下,规则数组运算能以较少指令获得高吞吐。限制包括:
- 数据长度与对齐不合适,需要处理尾部;
- 部分数据不满足条件时,可以用掩码标出这次哪些通道应生效。空着的通道会降低利用率。
- 四份数据分散在不同地址时,需要分别取来拼成一组(gather)或把结果分散写回(scatter),比随整块一起搬更费劲。
- 内存带宽可能先于算力饱和。
向量 ISA 让向量长度更抽象,硬件可按实际 lane 数分批执行,软件兼容性更好。
多核的共享内存幻觉¶
每个核心通常有私有 L1/L2 cache,却共享更低层 cache 或主存。若核心 A 修改变量 x,核心 B 的私有 cache 可能仍保存旧副本。没有协议,“共享内存”就不能维持单一值的直觉。
cache coherence¶
让各核心按共同规则观察同一片内存的修改,叫缓存一致性(cache coherence)。协议传递信息时常以整个缓存块(也叫缓存行)为单位。例如一个核心准备写时,先通知其他核心放弃手里的旧副本,这叫写失效。
MESI 用四类状态描述 cache 行:
- Modified:本核独占且已修改,下层可能旧;
- Exclusive:本核独占但干净;
- Shared:可能有多个干净副本;
- Invalid:本核副本不可用。
要写处于共享状态的缓存行,核心会先请求可写权限,其他副本才转为不可用。核心较少时,可以在共享通道上广播,所有核心听到后检查自己有没有副本,这叫总线嗅探。另一种做法是用目录记录谁持有副本,再定向通知,代价是要额外保存记录和传递消息。
false sharing¶
两个线程修改不同变量,若变量恰在同一 cache 行,一致性仍以整行为单位反复转移所有权:
程序语义没有共享同一变量,性能上却像激烈竞争。通过填充、分片或改变数据布局可缓解,但会增加内存占用。
coherence 不等于 consistency¶
coherence 主要回答同一地址的写如何传播;memory consistency 回答不同地址的 load/store 在其他核心看来允许怎样排序。
处理器和编译器会重排独立访存以提高性能。为了让两个核心以预期的顺序通信,程序使用同步机制。比如内存屏障可以限制某些读写跨过它重排,原子操作则让一组小操作像一个不可拆分的步骤。例如“先写数据,再发布 ready 标志”必须保证另一个核心看到 ready 后也能看到数据。
更强顺序模型易编程,却限制优化;较弱模型允许更高性能,但软件必须明确同步。语言内存模型、编译器和 ISA 三层都要一致配合。
原子操作¶
假设两个核心都看到计数器目前是 5。如果各自普通读取再写回 6,就丢了一次更新。原子读改写把「读旧值、计算、写回」合在一起,使另一个核心的修改不能插在这三步之间。例如原子加一(fetch-add 加 1)会让两次更新顺次得到 6 和 7。它们是锁和无锁结构的基础,但高竞争原子变量会让 cache 行频繁迁移,成为串行瓶颈。
最小并行例子¶
把长度为 \(N\) 的数组求和分给 \(P\) 个核心。每核计算自己的局部和,最后把这些小计再相加。这种由多个结果合成一个结果的过程叫归约。理想计算量约降为 \(N/P\),但还需分配任务、读取内存、同步和合并结果。若每核都频繁更新同一个全局和,原子竞争会抵消并行收益;局部累加后一次合并通常更好。
历史与改进空间¶
从提高频率转向多核后,一致性流量和内存带宽成为关键约束。更多核心不只增加算力,也扩大通信距离和协议状态。服务器可以给每个 CPU 插槽配一组较近的内存。访问别的插槽所连的内存要多过一段互连,同样是读内存,耗时却因位置而异,这叫非一致内存访问(NUMA)。把各线程的数据尽量留在它们常用的插槽附近,可以减少跨插槽搬运,但需要注意数据的位置。
自测¶
- 什么工作负载适合 SIMD,什么控制模式会降低 lane 利用率?
- false sharing 为什么不影响程序逻辑正确性,却能严重拖慢性能?
- coherence 与 consistency 的问题边界分别是什么?