数据中心互连:从两台机器到集合通信¶
多个进程的计算结束时间为什么都重要?¶
设三个训练进程分别在 10、11、15 ms 算出自己的梯度,可以先把它理解成这一小份训练数据给出的模型调整信号。大家需要先把三个结果加起来,再继续下一步。像这样由一组进程共同完成的数据交换或计算,称为集合通信。最快的进程即使先到,也得处理通信并等待最后一个参与者。把这 5 ms 的到达差和后续传输时间分开记录,才能判断该优化数据加载、计算,还是网络。
传输链路翻倍、最慢进程仍在 15 ms 才到,哪一部分不会动?
各进程到达同步点的时间差不会自动消失。先找到最慢进程在同步前做了什么,再决定是否优化网络。
读完能做:区分链路或网络、数据搬运机制以及分布式通信操作,估算一次多机通信的时间量级。
为什么加机器有时没加速¶
两台机器分别处理一半输入,如果完全独立,可以接近同时完成。同步训练中,各机器常需交换本地计算结果,再进入下一步。每步的时间除了计算,还包括准备通信、搬运数据,以及等待较慢的机器到达大家都要完成的那一步。若某部分数据可以在其余计算继续时提前发送,通信时间与计算时间就会重叠。把 256 MB 通过有效吞吐 25 GB/s 的路径发出去,单次传输仅按数据量计算约需 10.2 ms。这个估算以十进制单位计,尚未包括路径争用、协议调度和同步。
三个层次¶
现在把问题拆开:两台机器靠什么连起来,一份数据怎样移过去,参与者最终各需要拿到什么?例如交换机和网卡负责连通,远程直接内存访问(RDMA)是一种让设备搬运数据的机制,把各进程的结果相加并让每个进程都拿到总和(AllReduce)则是一个集合通信操作。
| 层次 | 例子 | 重点问题 |
|---|---|---|
| 设备与网络 | 网卡、交换机、以太网、InfiniBand | 哪些节点共享链路,拥塞和故障在哪里 |
| 数据移动机制 | 常规 Socket、RDMA | 发送和接收需要多少主机软件参与,缓冲区如何准备 |
| 集合通信 | 广播(一个发给大家)、AllReduce(汇总计算结果)、AllGather(汇集所有原始结果) | 哪些进程参与,各自最终得到什么数据 |
例如,A 要把计算结果写进 B 的一块接收缓冲区。B 先指定这一段内存及允许的设备操作,称为注册内存。然后支持 RDMA 的网卡可经网络直接搬运数据,由 B 的网卡把数据写到约定的内存。它和操作系统课的设备直接访问内存(DMA)一样,都可以减少主机 CPU 参与的拷贝。代价是收发双方需要兼容网卡、驱动、网络配置,并负责让这段内存在传输完成前可用。InfiniBand 是连接机器的一种网络技术,支持 RDMA。有些以太网方案也支持 RDMA。NVIDIA RDMA 编程指南
手算一次 AllReduce¶
两个训练进程各有一组数,A 为 [1, 2],B 为 [3, 4]。可以先让 B 把 [3, 4] 发给 A,再由 A 按位置相加,得到 [1 + 3, 2 + 4] = [4, 6]。目前只有 A 拿到结果,这一步叫归约(Reduce)。A 再把结果发给 B,让所有参与者都看到同一结果,这一步叫广播(Broadcast)。两步合在一起就实现了求和 AllReduce。若要得到这两份结果的平均值,应用可以按约定再除以 2。
换个要求,如果 A 和 B 各自都要拿到未经合并的原始数据,就用 AllGather,两边拿到的都是 [1, 2, 3, 4]。参与机器多了以后,所有结果都先送到 A 会让它承担更多网络流量。也可以按树状路径让不同机器先汇总一部分结果,再逐层传递。网络该怎么连、消息要分几轮传,都会改变实际时间。NVIDIA NCCL 集合通信接口
自测¶
GPU 是擅长同时执行大量相似计算的处理器,可以用来加速这里的梯度计算。记录上显示,每步末尾都有几张卡在等,增加 GPU 后每步时间反而更长。哪三份记录有助于判断?
参考思路
看各进程的计算时间和抵达同步点的先后、集合通信的消息大小与耗时,以及跨节点链路和网卡的负载。等待还可能由某个进程的数据准备慢造成。
集合通信的接口示例见 NVIDIA NCCL Collective Operations。