结论：多卡并行不是”加几张卡就自动变快”，反而会引入通信、同步、显存碎片和负载不均等一堆新问题。很多人单卡跑得好好的，一上多卡就报错或变慢，多半是踩了下面这些坑。
坑一：以为多卡一定线性加速
两张卡通常只能拿到接近一点七到一点八倍，不是两倍；卡间通信、梯度同步都会吃掉收益。如果你的任务本身很小，多卡开销甚至可能让总时间更长。先确认任务规模值得多卡，再上多卡。
坑二：负载不均
不同卡处理的batch大小不一致，会导致快的卡等慢的卡，整体被最慢的拖住。数据加载和采样要保证各卡负载均衡，否则GPU利用率上不去，钱却照烧。
坑三：显存碎片
多卡长时间训练后容易出现显存碎片，明明总量够却报OOM。定期保存checkpoint、重启进程，比硬撑着跑更稳。
怎么少踩坑
- 先在单卡跑通，再扩到多卡；
- 用成熟的分布式框架，别自己造轮子；
- 盯紧每块卡的利用率，别只看总进度。
在 gpu.topyun.vip 上，可以先在单卡小实例把流程调顺，再临时申请多卡实例做正式训练，按小时计费，不用为多卡环境长期付费。
一句话
多卡是放大器，放大的是你已有的流程，不是帮你解决流程问题。单卡没跑顺，多卡只会更乱。
常见疑问
问：四张卡为什么只比两张快一点？答：多半是通信或数据加载成了瓶颈，不是计算。先profile找到瓶颈，别盲目加卡。
问：多卡训练崩了怎么排查？答：先看哪块卡先报错，再查数据是否对齐、batch是否一致。多卡问题九成出在同步，不是算法本身。
一个真实教训
有人单卡跑通后直接上八卡，结果每天都有卡掉线，排查一周才发现是交换机带宽不足。教训是：扩卡前先确认网络和驱动都支持，别把单卡环境直接搬进多卡就以为万事大吉。
