结论先行：7B到13B微调用单卡，70B训练用单机多卡，千亿模型才需要多机。盲目上大集群，通信成本会吃掉一半算力。
一、三种架构对比
| 规模 | 通信方式 | 适用模型 | 成本量级 |
|---|---|---|---|
| 单卡 | 无 | 7B到13B微调/推理 | 最低 |
| 单机多卡 | NVLink/PCIe | 70B训练 | 中等 |
| 多机多卡 | RDMA/IB网络 | 千亿级预训练 | 很高 |
二、怎么判断要不要升级
先上单卡
用单卡4090/A100跑通训练流程，观察GPU利用率：若利用率长期超过90%，且时间不可接受，再考虑多卡。很多时候换个更优的batch size或开混合精度就解决了。
单机多卡
4到8卡同机，NVLink互联，做数据并行或张量并行。注意4090无NVLink，优先选A100/H100节点。多卡扩展并非线性，8卡加速比通常在6到7倍。
多机
只有当单机8卡仍放不下模型、或训练时长需按月计算时才上多机。IB网络与共享存储成本极高，小团队慎用，且需要有运维能力搞定NCCL、存储与监控。
三、避坑
先优化代码再堆卡，混合精度加梯度累积往往能把单卡吞吐提升一倍；多机前确认网络是RoCE还是IB，千兆以太网跑分布式训练会拖垮性能；按需释放，训练完立即关机，别让集群空跑。
四、成本控制建议
多卡训练建议开启训练检查点，每隔若干步自动保存，避免断电或实例异常导致前功尽弃。多机场景下共享存储建议用并行文件系统，不要用NFS直接挂载模型数据，否则读取会成为瓶颈。训练间隙及时关机，空跑一天的费用可能够跑一次完整实验。
四、总结
集群规模不是越大越好，而是匹配任务规模。单卡能搞定的不要上多卡，单机能搞定的不要上多机。每上一个台阶，通信成本和运维复杂度都指数级上升。
补充：如果是做超参数搜索或实验对比，建议用多实例并行而非多卡并行——开4张单卡实例跑4组不同配置，比1台4卡机跑1组实验更高效，且互不干扰。
可在GPU算力平台先租单机多卡实例实测扩展效率，再决定是否扩到多机。
