PCIe、网卡和 NVMe 的数据路径¶
一条链路上的两个设备,标称速度能直接相加吗?¶
假设每块盘单独顺序读都能跑 4 GB/s,两块一起读却经过同一条实际可传 6 GB/s 的共享路径。即使设备本身各能供给 4 GB/s,总体也被这条路径限制在 6 GB/s 左右。驱动可以让更多请求同时等待或处理,让存储设备别空闲下来。只要两个设备仍走同一条通道,总量仍受这条路限制。
怎么在实验里区分盘慢和共享路径拥挤?
先测每块盘各自工作,再测两块同时工作,记录总吞吐、单盘吞吐和等待。若只有两者同时工作时下降,可以画出设备与处理器之间的连接图(设备拓扑),找找有哪一段被共用。
先修:总线、设备控制器、DMA 和中断。
读完能做:从操作系统提交请求跟到设备完成,区分协议、链路和介质的瓶颈。
先跟一次读取¶
程序读一段文件时,内核先看是否还在内存里留有这段文件的副本,这份副本保存在页缓存里。没找到时,文件系统先确定这段数据落在磁盘的哪些块,再让负责块设备的代码安排读取。驱动把读命令放入设备队列,写设备寄存器通知控制器。控制器拿到数据后,可用 DMA 写入准备好的内存区域,再通知驱动。下面用同一次读取区分三个容易混在一起的名字。
| 术语 | 在例子中的作用 |
|---|---|
| PCIe | 可以把它想成机器内部运数据的道路。CPU 系统、网卡、固态硬盘或显卡能通过它连接,交换设备可接通多段道路。 |
| NVMe | 固态存储设备常用的一套命令规则,约定主机怎样排进读写命令,以及设备怎样报告完成。 |
| SSD 介质 | SSD 是固态硬盘。它内部真正保存数据的部分叫存储介质,例如上一节介绍的 NAND 闪存。 |
| 网卡 | 另一类设备,通常也有发送和接收队列,与主机内存交换网络数据 |
NVMe 命令排进队列后,还要等设备报告读写完成。可以同时提交、还没有完成的请求数量常用队列深度来描述。允许更多请求一起等待,可能让盘更少空闲,也可能让每项请求排得更久。回到两块盘的例子,共用的 PCIe 链路仍限制每秒能搬多少数据。
算一个下界¶
若设备实际连续读取 4 GB/s,读 2 GB 至少约 0.5 s。若每次只读 4 KiB,等待一次 I/O 完成后才发下一次,单请求延迟又会主导吞吐。用同样的总字节数对比顺序大块和零散小块,不只看快了多少,还要看请求数、完成延迟与队列深度。
自测¶
两块 SSD 同时读时,各自速率下降,但 CPU 占用很低。列出两种可验证的解释。
参考思路
可能共享 PCIe 链路,也可能争用系统内存或其它设备路径。先查设备拓扑,再测单设备和双设备吞吐及队列等待。CPU 空闲只说明 CPU 未充分忙碌。