智能客服背后的RAG（检索增强生成）系统，不需要顶级GPU。一张24GB显存卡跑7B量化模型加向量检索，就能支撑几十人同时在线问答。本文给出中小企业可直接落地的部署方案。
一、RAG的算力构成
RAG由三部分组成：向量检索（CPU即可）、Embedding模型（轻量）、生成模型（吃GPU）。真正需要GPU的是大模型推理环节，7B模型INT4量化后约5GB显存，24GB卡绰绰有余。企业不必为用不上的大显存和多卡买单。
二、推荐配置
| 并发量 | GPU建议 | 说明 |
|---|---|---|
| 10人以内 | 1张24GB卡 | 单实例 |
| 50人并发 | 1张48GB卡 | 多并发 |
| 企业级 | 多实例负载均衡 | 横向扩展 |
三、部署建议
- 知识库定期更新，向量化重建要有计划。
- 设置兜底话术，模型答不了自动转人工。
- 监控每次回答命中率，持续优化知识库。
- 敏感问题设置拒答策略，避免出错。
中小企业客服RAG不需要自建集群，一张云GPU常驻实例即可。需要搭建知识库问答系统时，可参考GPU大模型部署，按量或包月均可。
一家五十人客服团队的RAG系统，单张24GB云GPU常驻即可承载日常问答，月成本远低于专职运维。知识库更新在低峰时段重建，不影响白天客服使用。
先跑一个部门试点，见效后再推广到全公司，阻力小、见效快。
RAG上线后要持续观察哪些问题答不好，把这些问题补充进知识库，模型回答会越来越准。这是一个长期优化过程，云算力常驻成本很低，完全可以承担。
中小企业上线RAG后，先在一个高频场景跑顺，再逐步接入更多业务知识库，循序渐进风险低、见效快。
上线前用真实客服问答做一轮测试，确保模型回答准确再全量开放。
按部门分批上线，稳妥推进。
知识库更新频率按业务变化而定，产品资料变动频繁就每周重建一次。
上线后定期看问答日志，把答不好的问题补进知识库，模型会越用越准。
常见问题
问：一定要用最大模型吗？答：客服问答有标准答案，7B模型足够，更大模型反而慢且贵，性价比低。
