跨层性能诊断与设计权衡¶
CPU 空闲时,任务慢可能慢在哪里?¶
设程序每批花 40 ms 等设备、10 ms 算结果。优化程序把计算减半,只减少 5 ms;若实际在等磁盘或主机到设备传输,应先找到时间都花在何处。先提出两个假设,例如「磁盘排队」与「数据拷贝慢」,再为每个假设选一种能区分它的观测。
换了更快的硬件但总时间不变,下一步做什么?
比较前后同一任务的阶段时间。被加速的部分可能太小,或新瓶颈出现在下一阶段。总时间只能确认结果,还需分段才能解释原因。
动机:优化之前先定位¶
看到程序慢就增加线程、换算法或扩大 cache,可能只是在优化非瓶颈。组成原理提供一套跨层语言,但真正的诊断必须由测量约束。
从总时间向下分解¶
墙钟时间是从启动到完成、用外部计时器量出来的时间。即使程序正在等磁盘,计时也不会停。可以先画出可能花时间的地方,遇到重叠的阶段再用时间线核对。
总时间
├── CPU 运行
│ ├── 前端取指/分支
│ ├── 执行端口与数据相关
│ └── cache/TLB/内存等待
├── I/O 等待
├── 锁与线程调度
└── 运行时、系统调用与缺页
用计时记录阶段耗时,让采样分析器隔一小段时间记录程序在哪里执行,再用硬件性能计数器看处理器记录的事件,例如缓存未命中次数。一次测量不能证明因果,但多个相互吻合的指标能缩小范围。
常见证据模式¶
| 现象 | 可能瓶颈 | 进一步验证 |
|---|---|---|
| 每拍完成指令数(IPC)低,分支猜错又多 | 控制流难以预测 | 分支猜错后浪费的时间 |
| 一、二级缓存的未命中率高,带宽未满 | 等待或访问太分散 | 这段时间访问了哪些数据、相邻两次访问跨了多远 |
| 内存带宽接近平台上限 | 数据搬运限制性能 | 每搬一个字节能做多少计算,以及内存是否靠近使用它的 CPU |
| CPU 利用率低,系统显示 I/O 等待偏高 | 可能在等设备 | 请求队列和设备完成时间 |
| 增加线程后很快不再提速 | 串行段、锁或共享资源 | 线程争用同一缓存块与串行段给出的加速上限 |
计数器名称依处理器而异,且采样与推测执行会让数值并非精确“事件个数”。应关注趋势、比例和多指标交叉验证。
例 1:矩阵遍历¶
按行存储的矩阵,行优先遍历连续地址,cache line 中多数数据会被使用;列优先遍历大步长跳跃,可能每次只用一小部分块。
两者算法复杂度都为 \(O(n^2)\),但组成层面的 miss 数和 DRAM 行局部性不同。优化数据布局或循环顺序比提高 ALU 频率更有效。这两种分析可以配合使用。随着矩阵变大,两种遍历的总元素数以相同方式增长,但每次从内存取来的字节能利用多少,要看具体顺序和缓存。
例 2:分支密集查找¶
沿二叉搜索树找一个值时,每步比大小后走左或走右。搜索值变化时,分支方向可能难猜。如果节点又散布在内存里,就还可能发生缓存未命中。把树改成紧凑数组布局、批量处理多个查询,可能同时改善空间局部性和指令级并行。
采用无分支写法(branchless)时,可以先算候选值,再由条件选择保留哪一个。这也会带来代价,例如执行原本不会执行的操作,增加功耗,并在简单核心上无收益。必须测量目标机器与实际输入。
例 3:多核计数器¶
多个线程对同一原子计数器频繁加一,核心数越多,一致性所有权越频繁迁移。解决方案是每线程局部计数、最后归约。
局部化减少一致性流量,代价是读取全局精确值需要合并,且额外占用内存。若业务要求每次更新立即全局可见,就不能免费采用该优化。
设计权衡表¶
| 优化 | 主要收益 | 常见代价 | 适用条件 |
|---|---|---|---|
| 加深流水线 | 更高潜在频率 | 分支惩罚、寄存器功耗 | 阶段可平衡且预测准确 |
| 增大 cache | 降低容量 miss | 命中延迟、面积、功耗 | 工作集可被覆盖 |
| 预取 | 隐藏规则访存延迟 | 带宽与污染 | 访问模式可预测 |
| SIMD | 提高数据吞吐 | 尾部、分歧、带宽压力 | 数据并行且布局规则 |
| 多线程 | 利用多核 | 同步、通信、调试复杂 | 任务可分且串行段小 |
| DMA 批处理 | 降低 CPU 搬运开销 | 队列延迟、缓冲管理 | 数据块较大或吞吐优先 |
诊断流程¶
- 定义代表性输入、正确性与目标指标;
- 建立基线,记录波动和机器配置;
- 判断是计算、前端、内存、I/O 还是同步主导;
- 构造只改变一个因素的最小实验;
- 用时间和底层指标同时验证;
- 应用优化后重新分析,因为瓶颈会移动;
- 检查功耗、内存占用、尾延迟与可维护性回归。
改进空间与限制¶
硬件计数器、模拟器和微基准都有观察偏差。微基准隔离机制,却可能不代表真实应用;整机测试真实,却难以归因。最可靠的方法是让模型、微实验和端到端结果互相支持。
未来硬件会继续变化,但“先建立状态与数据流模型,再用证据识别限制资源”的方法不会过时。
自测¶
- 算法复杂度相同的两段代码为何可有显著 cache 性能差异?
- 多线程加速不佳时,怎样区分串行部分、锁竞争和内存带宽瓶颈?
- 选择一个熟悉程序,写出一个优化假设、两项支持指标和一个可能副作用。