结论：单机多卡训练的效率，很大程度取决于卡间通信带宽。两张好卡如果通信是瓶颈，多卡反而比单卡慢。理解通信拓扑，才能把多卡用出该有的速度。
卡间通信的几种方式
- 高速互联：带宽最高，适合大模型训练；
- 普通PCIe：带宽较低，小模型够用；
- 跨机网络：带宽最低，延迟最大。
什么时候通信成瓶颈
模型越大、梯度同步越频繁，通信占比越高。如果你的任务通信开销超过计算，多卡就没意义，不如减小模型或用参数高效微调。先profile一下，别盲目加卡。
怎么选实例
大模型多卡训练，优先选带高速卡间互联的实例；小模型微调，普通多卡即可。在 gpu.topyun.vip 上可以按需选不同配置，按实际任务匹配，不为用不上的互联能力多付钱。
一句话
多卡训练不是卡多就快，通信跟得上才真快。
常见疑问
问：小模型有必要多卡吗？答：多数没必要，单卡更省心。多卡留给大模型和大批量训练。
问：怎么测卡间通信？答：用基准工具跑带宽测试，看实际吞吐，别只看参数表。
通信和计算怎么配
大模型训练要把钱花在高速互联上，小任务则不必。选实例时先问自己：我的任务是计算密集还是通信密集？前者挑算力，后者挑互联，别在不需要互联的任务上多付溢价。
