多数团队的GPU利用率不到40%，意味着一半的算力预算在空转。通过nvidia-smi、DCGM和Prometheus三层监控体系，可以精准找到浪费点并优化。
一、为什么要监控GPU利用率
GPU利用率直接决定了你的投资回报率：
- 利用率30%：等于你花100元只用到了30元的算力；
- 利用率70%：同样的钱产出2.3倍；
- 利用率90%+：说明你的GPU资源已经物尽其用。
二、基础工具：nvidia-smi
最快速查看GPU状态的命令：
- nvidia-smi：显示GPU利用率、显存使用、温度、进程列表；
- nvidia-smi dmon -s u：每秒刷新GPU利用率，适合实时观察；
- nvidia-smi –query-gpu=utilization.gpu,memory.used,temperature.gpu –format=csv -l 5：每5秒输出一次CSV格式数据。
注意：nvidia-smi显示的GPU利用率是瞬时值，100%利用率不代表一直在高效计算，可能是在等待数据加载。
三、进阶监控：DCGM + Prometheus + Grafana
生产环境推荐部署DCGM（Data Center GPU Manager）监控体系：
- DCGM Exporter：采集GPU指标（利用率、显存、功耗、温度、ECC错误）；
- Prometheus：时序数据库，存储监控数据；
- Grafana：可视化仪表盘，查看利用率趋势和告警。
关键监控指标：
| 指标 | 正常范围 | 异常说明 |
|---|---|---|
| GPU利用率 | 70%~95% | 持续低于50%说明有浪费 |
| 显存利用率 | 60%~90% | 低于30%说明模型太小 |
| GPU温度 | 60~80°C | 持续超过85°C可能降频 |
| 功耗 | 250~400W（A100） | 功耗低但利用率低等于空转 |
| NVLink带宽 | 多卡训练时监控 | 低带宽说明通信瓶颈 |
四、提升GPU利用率的5个方法
方法1：数据预处理流水线
GPU等待数据加载是最常见的利用率杀手。用DataLoader的num_workers和prefetch参数实现数据预取，让GPU不等数据。
方法2：增大Batch Size
Batch size太小会导致GPU利用率低。在显存允许的范围内尽量增大batch size，或者使用梯度累积模拟更大batch。
方法3：多任务共享GPU
如果GPU利用率只有30%，可以让多个轻量任务共享同一张GPU（通过MPS或MIG技术切分）。
方法4：使用混合精度训练
FP16混合精度训练可以提升30%~50%的吞吐量，同时减少显存占用，允许更大batch size。
方法5：消除数据拷贝瓶颈
频繁的CPU到GPU数据拷贝会导致GPU闲置。使用pin_memory、non_blocking传输和预取技术减少拷贝等待。
五、常见误区
误区1：GPU利用率100%就是最好的。 不一定。可能是死循环或内存泄漏导致的假满。结合功耗和显存综合判断。
误区2：利用率低就是浪费。 推理场景的利用率天然较低（因为请求是突发的），关键是看单位时间处理的请求量。
想部署GPU监控体系并优化利用率，可以参考GPU监控优化服务提供的监控方案和性能调优建议。
六、总结
不知道GPU利用率，就等于不知道钱花在了哪里。从nvidia-smi开始，逐步搭建DCGM监控体系，持续优化利用率，是GPU成本管理的基本功。
