结论：量化是把模型权重从高精度压到低精度，显存占用立减，效果几乎无损。想在小显存卡上跑大模型，量化是第一步该做的优化。
量化怎么工作
把浮点权重压缩成更低位宽的表示，体积减半甚至更多，推理时读取更快。主流方案成熟，开箱即用。
常见量化方案
- 整数量化：显存减半，效果稳；
- 更低比特：显存更省，需验证效果；
- 按需选择，先试整数量化。
在 gpu.topyun.vip 上，选小显存卡配合量化模型，单卡就能跑原本放不下的模型，省钱又够快。
常见疑问
问：量化掉效果吗？答：合理量化几乎无损，先试再决定。
问：训练和推理都能量化吗？答：推理量化最成熟，训练量化较复杂。
