GPU训练跑到一半崩了、CUDA报错、显存突然占满——这些故障浪费的不只是时间，还有真金白银的GPU租赁费。掌握5步排查法，80%的问题能在15分钟内定位。
一、GPU故障的五大常见类型
| 故障类型 | 典型症状 | 发生概率 | 修复难度 |
|---|---|---|---|
| OOM显存溢出 | CUDA out of memory | 最高（~40%） | 低（调参数） |
| CUDA环境不兼容 | library not found / version mismatch | ~25% | 中（重装环境） |
| GPU硬件异常 | Xid错误 / ECC错误 / 掉卡 | ~15% | 高（换卡） |
| 网络/通信故障 | NCCL timeout / 多卡训练卡住 | ~12% | 中 |
| 数据/代码bug | 训练不收敛 / loss NaN | ~8% | 高（调试） |
二、五步排查法
第1步：nvidia-smi看基本状态
第一条命令永远是nvidia-smi。检查：
- 所有GPU是否都被识别？有没有掉卡？
- GPU利用率是多少？是0%还是满的？
- 显存占用是否异常？有没有僵尸进程占着显存？
- GPU温度是否过高（超过85°C可能降频）？
第2步：查系统日志和dmesg
硬件层面的错误记录在系统日志中：
- dmesg | grep -i nvidia：查看NVIDIA内核模块日志；
- dmesg | grep Xid：Xid错误码是GPU硬件故障的关键线索；
- /var/log/syslog：查看系统级错误。
第3步：复现最小问题
不要直接跑完整训练脚本，先用最小代码片段复现问题：
- 能不能正常分配显存？torch.cuda.empty_cache()后重试；
- 能不能跑一个简单的张量运算？cuda.is_available()；
- 换一个batch size或模型大小，是否还出错？
第4步：隔离变量
- 换一张GPU卡试试——排除单卡硬件故障；
- 换一个模型/任务试试——排除模型代码问题；
- 用官方镜像试试——排除环境配置问题；
- 单机单卡跑试试——排除多卡通信问题。
第5步：联系技术支持
如果以上步骤都没定位到问题，收集以下信息联系平台技术支持：
- 完整的报错堆栈信息；
- nvidia-smi输出截图；
- 你跑的任务和配置；
- 故障发生的时间和频率。
三、高频问题速查
问题1：CUDA out of memory
- 原因：batch size太大、模型太大、显存碎片；
- 解决：减小batch size、开启梯度累积、用混合精度、清理无用张量。
问题2：NCCL timeout（多卡训练卡住）
- 原因：网络带宽不足、防火墙阻断NCCL端口；
- 解决：检查IB/RoCE网络、设置NCCL_DEBUG=INFO定位卡点。
问题3：GPU突然掉卡
- 原因：硬件故障、供电不足、驱动崩溃；
- 解决：dmesg查Xid错误码，联系平台换卡，不要自己修硬件。
四、故障预防措施
- 定期保存checkpoint：每30分钟自动保存，故障后从最近checkpoint恢复；
- 监控GPU健康指标：温度、功耗、ECC错误实时监控；
- 使用稳定镜像：不要频繁升级CUDA和框架版本；
- 测试环境验证：新代码先在单卡跑通再上多卡。
遇到GPU故障需要紧急更换资源或技术支持，可以联系GPU技术支持服务，提供7×24小时故障响应。
五、总结
GPU故障不可避免，但可以通过系统化排查快速定位。记住五步排查法：看状态→查日志→复现问题→隔离变量→寻求支持。日常做好checkpoint和监控，故障损失就能控制在最小。
