跳转至

GPU、显存和服务器拓扑

先修:设备怎样把数据搬进内存、一条指令怎样操作多个数。

读完能做:说出数据在主存还是显存,判断慢的是计算、内存访问还是设备间传输。

从一个数组操作开始

把输入缩小到 [3, 7, 2, 5]。依次乘 2,可以让一个执行者轮流做四次,也可以让四个执行者各负责一个下标,同时得到 [6, 14, 4, 10]。图形处理器(GPU)有很多适合一起做这种重复工作的执行部件。这样拆分的前提是每一项只读自己的输入、只写自己的输出。若每项还要用上一项刚算完的结果,就出现了先后依赖,需要换算法或重新安排工作。

要把一百万个值各乘以 2,每个元素可以独立处理。CPU 可以用向量指令一次操作几个元素。在 GPU 上,可以给许多执行同一程序的线程分别分配一个下标。在线程中运行的设备程序叫计算核(kernel)。NVIDIA GPU 把 32 个线程编成一组(warp),成组发出相同的指令,这种模型叫单指令多线程(SIMT)。用四个线程演示「偶数乘 2,奇数加 1」时,[3, 7, 2, 5] 里只有 2 会走乘法。执行乘法的那一步,另外三个线程在等。执行加法时,轮到处理 2 的线程等。同组线程访问相邻地址时,硬件则更容易把这些请求合成较少的内存传输。

上面那四个数字本来在 CPU 程序手里。若采用常见的独立 GPU 路径,数据最初在 CPU 使用的主存,要先拷贝到 GPU 自己的内存(显存),再启动计算,必要时还要把结果传回来。只有四个数字时,单纯省下几次乘法很难抵掉这些准备开销。如果输入和后续计算本来就在 GPU 上,就可以复用显存里的数据。评估性能时先画出数据在哪里,再比较并行带来的收益。

同样是 GPU 能用的存储,还可以问两个问题。容量是最多能同时放多少数据,带宽是单位时间能搬多少数据。比如一项任务能把数据放进显存,计算也可能因为每一步都需要重新读取一大块数据而变慢。

分清数据在哪一层

位置 存放例子 需要观察
CPU 主存 程序从文件读出并整理好的一批输入 主存带宽,以及主存与运行程序的 CPU 是否位于同一内存访问区域(NUMA 节点)
GPU 显存 模型的参数、计算中的临时结果,以及作为输入的多维数组(张量) 显存容量、访问带宽和计算核的访问模式
GPU 芯片内部的小块存储 线程暂存的中间值、同组线程一起使用的数据 需要时能否从较近的位置取到数据,减少读显存的次数
PCIe 或专用 GPU 互连 设备之间传输的张量 实际数据路径、是否能直接传输、链路或交换设备是否共享

服务器可以装多个 CPU,每个 CPU 可能通过不同的硬件接口接入 PCIe 设备。若两块 GPU 都连到同一个交换设备,数据可能直接在附近传输。若连在不同 CPU 一侧,路径可能更长,也可能需要由主存中转,具体要看硬件和驱动。把连接关系画出来,就是拓扑。跨机器时,还要画出网卡和交换机。例如多机训练各自产生的小计需要合并,这种多个参与者按规则一起交换结果的过程叫集合通信。

手算带宽下界

假设一批输入为 480 MB,主机到 GPU 每秒实际可传 12 GB。按十进制单位算,单批至少约 40 毫秒。若计算还需 10 毫秒,两步依次做就是 50 毫秒。改用两个轮流放数据的区域(双缓冲),第一批开始计算后,可以把下一批传进另一块。开始时首批仍要经历两步,此后即使两步能重叠,接连完成两批的间隔也至少是较慢阶段的 40 毫秒。要达到这个间隔,硬件和程序得能同时传一批并算另一批,两批也不能互相等结果。

选择 GPU 时,可以把 H100、H200、B300 之类的型号整理成同一张对照表,比较计算格式、显存容量与带宽、互连接口、功耗和实际部署拓扑。先用同一个工作负载说明需要比较哪几列,再查具体配置。

自测

显存占用率高、计算单元活动很低,能否直接判断 GPU 算力不足?

参考思路

显存占用说明分配了多少容量。低活动还可能来自数据加载、主机到设备传输、同步或网络等待。按时间观察这些阶段,再判断瓶颈在哪里。

线程分组和主存到显存传输见 CUDA Programming Guide 的编程模型。