结论：训练时显存爆炸，不只是”模型太大”。批量大小、序列长度、激活值、优化器状态都会叠加。按顺序排查，多数OOM不用换卡就能解决，下面给出推荐处理顺序。
显存到底花在哪
训练时显存分四块：模型参数、梯度、优化器状态、激活值。全精度下，优化器状态常常占大头；长序列和大batch则把激活值推上去。理解这四块，才知道从哪下手，而不是盲目换卡。
解决OOM的推荐顺序
- 先把batch size降一半，看是否恢复；
- 开混合精度，参数和梯度占显存立减；
- 用梯度检查点，换时间省显存；
- 用LoRA等参数高效微调，只训小部分；
- 真不行再换大显存卡或多卡。
什么时候该换卡
上面软件手段都用尽仍爆显存，说明模型规模确实超过当前卡。这时与其反复折腾，不如直接上大显存实例。在 gpu.topyun.vip 上选一张更大显存的机器，跑通后再决定是否长期租用，比本地反复调试更高效，也不耽误项目进度。
记住，显存是硬墙，软件优化只是在墙内腾挪空间。腾不动了，就老老实实换更大的房间，别和墙较劲，时间比显卡贵。
一句话
先软件后硬件，别一OOM就想着换最贵的卡。按顺序排查，多数问题在软件层就能解决。
常见疑问
问：开混合精度会不会影响效果？答：对绝大多数模型几乎无损，但能省近一半显存，是性价比最高的一步，建议先开。
问：多卡能解决OOM吗？答：能分担，但小模型单卡调优往往更省事。多卡还引入通信成本，别一上来就指望多卡。
一个排查习惯
每次爆显存，记下来当时的batch size、序列长度和模型规模，下次就知道瓶颈在哪。攒几次经验后，选卡和调参都会更有数，不再靠反复试错烧钱。把每次失败的参数记下来，就是你自己的调参手册，慢慢就不会一报错就慌，处理OOM也会越来越有经验。
