GPU、显存和服务器拓扑¶
读完能做:说出数据在主存还是显存,判断慢的是计算、内存访问还是设备间传输。
从一个数组操作开始¶
把输入缩小到 [3, 7, 2, 5]。依次乘 2,可以让一个执行者轮流做四次,也可以让四个执行者各负责一个下标,同时得到 [6, 14, 4, 10]。图形处理器(GPU)有很多适合一起做这种重复工作的执行部件。这样拆分的前提是每一项只读自己的输入、只写自己的输出。若每项还要用上一项刚算完的结果,就出现了先后依赖,需要换算法或重新安排工作。
要把一百万个值各乘以 2,每个元素可以独立处理。CPU 可以用向量指令一次操作几个元素。在 GPU 上,可以给许多执行同一程序的线程分别分配一个下标。在线程中运行的设备程序叫计算核(kernel)。NVIDIA GPU 把 32 个线程编成一组(warp),成组发出相同的指令,这种模型叫单指令多线程(SIMT)。用四个线程演示「偶数乘 2,奇数加 1」时,[3, 7, 2, 5] 里只有 2 会走乘法。执行乘法的那一步,另外三个线程在等。执行加法时,轮到处理 2 的线程等。同组线程访问相邻地址时,硬件则更容易把这些请求合成较少的内存传输。
上面那四个数字本来在 CPU 程序手里。若采用常见的独立 GPU 路径,数据最初在 CPU 使用的主存,要先拷贝到 GPU 自己的内存(显存),再启动计算,必要时还要把结果传回来。只有四个数字时,单纯省下几次乘法很难抵掉这些准备开销。如果输入和后续计算本来就在 GPU 上,就可以复用显存里的数据。评估性能时先画出数据在哪里,再比较并行带来的收益。
同样是 GPU 能用的存储,还可以问两个问题。容量是最多能同时放多少数据,带宽是单位时间能搬多少数据。比如一项任务能把数据放进显存,计算也可能因为每一步都需要重新读取一大块数据而变慢。
分清数据在哪一层¶
| 位置 | 存放例子 | 需要观察 |
|---|---|---|
| CPU 主存 | 程序从文件读出并整理好的一批输入 | 主存带宽,以及主存与运行程序的 CPU 是否位于同一内存访问区域(NUMA 节点) |
| GPU 显存 | 模型的参数、计算中的临时结果,以及作为输入的多维数组(张量) | 显存容量、访问带宽和计算核的访问模式 |
| GPU 芯片内部的小块存储 | 线程暂存的中间值、同组线程一起使用的数据 | 需要时能否从较近的位置取到数据,减少读显存的次数 |
| PCIe 或专用 GPU 互连 | 设备之间传输的张量 | 实际数据路径、是否能直接传输、链路或交换设备是否共享 |
服务器可以装多个 CPU,每个 CPU 可能通过不同的硬件接口接入 PCIe 设备。若两块 GPU 都连到同一个交换设备,数据可能直接在附近传输。若连在不同 CPU 一侧,路径可能更长,也可能需要由主存中转,具体要看硬件和驱动。把连接关系画出来,就是拓扑。跨机器时,还要画出网卡和交换机。例如多机训练各自产生的小计需要合并,这种多个参与者按规则一起交换结果的过程叫集合通信。
手算带宽下界¶
假设一批输入为 480 MB,主机到 GPU 每秒实际可传 12 GB。按十进制单位算,单批至少约 40 毫秒。若计算还需 10 毫秒,两步依次做就是 50 毫秒。改用两个轮流放数据的区域(双缓冲),第一批开始计算后,可以把下一批传进另一块。开始时首批仍要经历两步,此后即使两步能重叠,接连完成两批的间隔也至少是较慢阶段的 40 毫秒。要达到这个间隔,硬件和程序得能同时传一批并算另一批,两批也不能互相等结果。
选择 GPU 时,可以把 H100、H200、B300 之类的型号整理成同一张对照表,比较计算格式、显存容量与带宽、互连接口、功耗和实际部署拓扑。先用同一个工作负载说明需要比较哪几列,再查具体配置。
自测¶
显存占用率高、计算单元活动很低,能否直接判断 GPU 算力不足?
参考思路
显存占用说明分配了多少容量。低活动还可能来自数据加载、主机到设备传输、同步或网络等待。按时间观察这些阶段,再判断瓶颈在哪里。
线程分组和主存到显存传输见 CUDA Programming Guide 的编程模型。