选GPU服务器不是只看显卡型号，CPU、内存、NVMe存储和网络带宽的配比直接影响GPU实际利用率，配错了可能多花30%的钱却跑不满GPU。
一、GPU服务器的核心配置原则
黄金配比公式：
- 每张GPU配2~4个CPU核心：负责数据预处理和CPU侧计算；
- 每张GPU配32~64GB内存：用于缓存数据集和模型；
- 每张GPU配100~200GB NVMe存储：存放热数据和checkpoint；
- 多卡服务器配100Gbps+网络：支持多机分布式训练的数据传输。
二、不同任务的推荐配置
| 任务类型 | GPU配置 | CPU | 内存 | 存储 |
|---|---|---|---|---|
| 单卡调试/小模型推理 | 1×4090 | 8核 | 64GB | 500GB NVMe |
| 单卡大模型推理（70B INT4） | 1×4090/A100 | 16核 | 128GB | 1TB NVMe |
| 4卡训练（7B~13B） | 4×A100/4090 | 32核 | 256GB | 2TB NVMe |
| 8卡训练（70B） | 8×A100/H100 | 64核 | 512GB | 4TB NVMe |
| 多机分布式训练 | 16~64卡 | 双路CPU | 1TB+ | NAS+NVMe |
三、CPU选型的常见误区
误区1：CPU越强越好
GPU服务器的CPU不需要是顶级型号。GPU是主力计算单元，CPU只负责数据预处理。用双路Xeon Platinum有点浪费，Xeon Gold或EPYC 7003系列足够。
误区2：核心数越多越好
超过GPU核心数2倍的CPU核心通常用不上。每张GPU对应4个CPU核心已经足够处理数据加载和预处理任务。
四、内存配置的关键点
- 容量：内存不足会导致频繁使用磁盘交换，训练速度骤降；
- 频率：DDR4-3200和DDR5-4800对GPU训练影响不大，优先保证容量；
- 通道数：双路CPU要插满所有内存通道，否则带宽不足；
- NUMA架构：注意GPU和CPU的NUMA亲和性，避免跨NUMA通信。
五、存储怎么选
NVMe SSD vs SATA SSD vs HDD
| 存储类型 | 顺序读写 | 随机读写 | 用途 | 成本 |
|---|---|---|---|---|
| NVMe SSD | ~7000MB/s | 极高 | 热数据、checkpoint | 高（~1.5元/GB） |
| SATA SSD | ~550MB/s | 中等 | 温数据、系统盘 | 中（~0.6元/GB） |
| HDD | ~200MB/s | 低 | 冷数据、备份 | 低（~0.2元/GB） |
六、网络配置要点
- 单机训练：千兆网卡足够，主要是SSH和数据下载；
- 多机训练：必须100Gbps RDMA（InfiniBand或RoCE），否则多卡通信成为瓶颈；
- 推理服务：25Gbps网卡足以支撑对外API流量。
不确定你的GPU服务器该怎么配，可以咨询GPU服务器选型咨询，根据你的任务类型推荐最优配置方案。
七、总结
GPU服务器选型的核心是不做瓶颈，也不做浪费。CPU和内存够用即可，把预算花在GPU和高速存储上。配得合理，GPU利用率才能上去。
