结论先行：监控看GPU利用率、显存占用、温度、功耗四项。利用率不到100%说明有瓶颈，显存满了要爆了，温度高了要降频。
一、GPU利用率
nvidia-smi看GPU-Util。长期低于80%说明CPU数据加载跟不上，或者batch size太小。调到GPU利用率满了为止。
二、显存占用
显存占用超过90%就要小心OOM。用torch.cuda.memory_allocated()看实际tensor占用，剩余显存做缓存。
三、温度与功耗
温度超过85度会降频。功耗不满TDP说明算力没跑满。这两个指标反映硬件是否在最佳状态。
二、常用命令
watch nvidia-smi实时看GPU状态。nvidia-smi –query-gpu=utilization.gpu,memory.used –format=csv -l 1每秒输出一次。dmon看历史功耗曲线。
三、为什么利用率不满
数据加载太慢，GPU在等数据。num_workers开多一点，prefetch_factor加大。或者CPU核数太少，升级实例规格。
监控完善的GPU实例可在GPU算力平台选择。
