微调大模型最烧脑的就是选卡：7B模型到底要多大显存？70B模型真的要多卡吗？其实用对微调方法，中小显存也能跑。本文按模型大小给出一张实用选卡对照表，帮你少花冤枉钱。
一、微调显存怎么算
全参数微调时，显存要同时放模型权重、梯度和优化器状态，7B模型全量微调就要约60GB显存，一张卡根本放不下。但用LoRA等参数高效微调方法，只训练一小部分参数，7B模型24GB显存就能跑，70B模型量化后用单张48GB也能微调。
二、选卡对照表
| 模型规模 | 推荐显存 | 方法 |
|---|---|---|
| 7B | 24GB | LoRA微调 |
| 13B | 48GB | LoRA微调 |
| 70B | 96GB或多卡 | 量化加LoRA |
三、省钱技巧
- 优先用LoRA，显存省一个数量级。
- 量化后再微调，中小模型完全够用。
- 训练用大卡临时起，推理换小卡常驻。
微调是周期性任务，云GPU按需起大卡跑完即释放最划算。需要微调自己的业务模型时，可参考GPU微调实例，按训练时长结算。
实际微调中，很多团队一开始就想全参数微调70B模型，结果一张48GB卡根本放不下，还以为自己配置不够。其实用LoRA只训练占比百分之一的参数，7B模型24GB就能跑，效果在多数业务场景已经足够。另外，先把基础模型在通用语料上跑通，再用自己的业务数据微调，比直接从零训练省几十倍算力。微调任务通常几小时到一两天，云GPU按需起大卡，跑完即释放，不必为偶尔的训练常驻高配机器。
四、成本建议
7B模型LoRA微调一次约几小时，云GPU成本很低，团队可频繁实验迭代。
团队第一次做大模型微调，建议先用7B模型在24GB卡上把流程跑通，理解LoRA怎么配、效果怎么评估，再逐步尝试更大模型。不要一上来就冲70B，环境没搭好就浪费卡时。把训练数据清洗干净、标注规范，比换更大的模型对效果提升更明显。云GPU按小时计费，频繁实验也不用担心成本。
常见问题
问：70B模型一定要多卡吗？答：用量化加LoRA，单张大显存卡也能微调，只是慢些，赶时间再多卡并行。
