综合练习:一批数据怎样从磁盘进入 GPU¶
先算首批要多久,再算第二批能否提前¶
以处理一批图片为例。读取文件、把压缩的图片字节恢复成计算所需的像素(解码)、把像素传到显存、让 GPU 计算,这四步分别需要 12、30、8、20 ms。第一批必须依次经过四站。若读文件和解码能并行,第一批交给解码时就能开始读第二批。我们在同一张图里分别标出首批延迟和连续完成两批的时间差,才看得出流水线改善的是哪一项。
为什么缓冲增加后,吞吐也可能保持不变?
如果解码已经连续满负荷,缓冲可以吸收波动,却不能让每批解码少花时间;额外占用的内存还可能挤压别的阶段。
先修:设备 I/O、GPU 和服务器拓扑。
读完能做:画出一批训练输入的路径,为每个阶段提出一个能验证的性能假设。
把动作和数据分开画¶
以普通的读文件与设备传输为例。程序需要的数据还不在内存时,操作系统会按存储设备的块发起读取(块 I/O)。文件数据进入主存后,CPU 解码,把多张图片合成一批。负责和 GPU 配合的软件(运行时)发起从主存到显存的拷贝,再让 GPU 执行处理图片的程序(计算核)。
打开文件和启动 I/O 属于控制动作。批次内容落在哪块内存、经过哪条总线,属于数据路径。第一次读过的数据若仍在内存保存的文件副本中,再读时可以直接复用。这叫热读,保存那份副本的位置叫页缓存。没有这份副本时,常需要到设备读入,在下面称为冷读。
一个可手算的时间线¶
| 阶段 | 单批耗时 | 可以先观察 |
|---|---|---|
| 读文件 | 12 ms | 冷读与热读差异、设备吞吐和队列等待 |
| 解码并组批 | 30 ms | 数据加载线程的 CPU 时间和就绪队列 |
| 主机到设备传输 | 8 ms | 拷贝完成时间和传输字节数 |
| GPU 计算 | 20 ms | 计算核耗时、相邻计算核之间的空隙 |
完全串行时是 70 ms 一批。若四个阶段可以并发工作且都不争用同一瓶颈,理想稳态至少 30 ms 一批。把 GPU 计算从 20 ms 减到 10 ms,串行会提速,理想流水线的瓶颈仍在解码。缓冲区会增加内存占用,实际数据依赖和共享带宽会让结果偏离这个理想上限。
实验¶
- 先在纸上画前三批的串行与重叠时间线,并标出第一批延迟和稳态批次间隔。
- 用普通电脑也能验证分析方法。写一个循环,分别计时「读文件」「转换输入」「执行计算」,同一输入再读一次。记录热读变化,不用猜测第二次必然来自哪个缓存。
- 若有 GPU,把设备拷贝和计算核时间单独记下来。有的接口发出请求就立即返回,GPU 此时可能还没开始做,这叫异步提交。要量实际耗时,可以等设备确认操作完成(同步),或让设备记录开始和完成这两个时间点。
- 假设增加另一个训练任务,共用网卡或同一个存储设备。指出哪一项观测可以区分争用发生在磁盘、CPU、传输还是网络。