同一个70B模型，全参数微调需要8张A100跑一周，LoRA微调只需2张A100跑两天，QLoRA甚至单张4090就能搞定——成本差了近30倍。
一、三种微调方式的核心区别
| 方式 | 训练参数量 | 显存需求 | 硬件需求 | 相对成本 |
|---|---|---|---|---|
| 全参数微调 | 100%（全模型） | 极高（需多卡） | 8×A100 80G | 100% |
| LoRA微调 | ~0.1%~1% | 中等 | 2~4×A100 | ~10%~15% |
| QLoRA微调 | ~0.1%~1% | 低（量化基座） | 1×4090 24G | ~3%~5% |
二、成本实测对比（70B模型）
| 方案 | GPU配置 | 训练时间 | GPU时 | 估算费用 |
|---|---|---|---|---|
| 全参数微调 | 8×A100 80G | ~7天 | ~1344 | ~2.4万元 |
| LoRA微调 | 2×A100 80G | ~3天 | ~144 | ~2600元 |
| QLoRA微调 | 1×4090 24G | ~2天 | ~48 | ~290元 |
注：费用按时价计算，A100约18元/时，4090约6元/时。
三、什么时候用哪种微调
全参数微调
适合场景：
- 预训练后需要大幅调整模型能力；
- 有充足的高质量领域数据（10万+条）；
- 预算充足且追求最优效果。
LoRA微调
适合场景：
- 在通用模型基础上增加领域知识；
- 数据量在1万~10万条；
- 效果接近全参数微调，成本只有1/10。
QLoRA微调
适合场景：
- 个人开发者或小团队预算有限；
- 数据量在几千到几万条；
- 快速验证想法和原型。
四、微调成本优化技巧
- 从7B模型开始：7B模型QLoRA微调成本不到100元，效果在很多场景下够用；
- 控制数据量：微调数据不是越多越好，几千条高质量数据胜过10万条噪声数据；
- 合理设置epoch：2~3个epoch通常足够，过多会过拟合；
- 先小数据跑通流程：用100条数据跑通整个pipeline，再上全量数据。
五、微调后的部署成本
微调不只是训练成本，还要考虑部署成本：
- 全参数微调：产出完整模型，推理时需要原版硬件；
- LoRA微调：产出小的adapter文件（几十MB），可以和基座模型分开管理，切换不同任务只需换adapter；
- QLoRA微调：基座模型已量化，推理硬件要求更低。
想低成本开始模型微调，可以使用GPU微调训练服务，单卡4090按量付费，QLoRA微调成本低至几百元。
六、总结
对大多数企业来说，LoRA微调是性价比最高的选择——成本只有全参数的1/10，效果差距通常在5%以内。QLoRA适合个人和初创团队起步，全参数微调只在确有必要时使用。
