做AI伴学、AI家教类产品，核心是大模型推理要快、要稳，学生高峰期不能卡顿。本文给教育创业团队一套推理算力配置方案。
一、伴学产品的算力特点
这类产品推理是持续的，高峰期（放学后、周末）并发高。模型选7B到14B级别，量化后单卡24GB可支撑一定并发。用户增长后横向加实例即可，不必一开始就上多卡大集群。
二、推荐配置
| 用户规模 | GPU建议 | 说明 |
|---|---|---|
| 千人以内 | 1张24GB卡 | 单实例 |
| 万人级 | 多实例负载均衡 | 横向扩展 |
| 模型微调 | 单卡48GB | 按需起 |
三、产品建议
- 按学生年龄段微调模型，回答更贴合。
- 高峰期前预热实例，避免冷启动。
- 记录学生提问，持续优化回答质量。
教育产品推理量随用户增长，云GPU按需扩缩最划算。需要部署推理服务时，可参考GPU推理实例，包月或按量均可。
实际运营中，伴学产品的体验关键在响应速度，学生等三秒就会失去耐心。建议把高频问题的回答做缓存，模型只处理新问题。另外要按学科和年级微调模型，让回答更贴合对应年龄段，而不是用一个通用模型应付所有人。高峰期前把实例预热好，避免新用户进来才冷启动。用户增长后横向加实例做负载均衡，比换更大的卡更平滑。
四、运营小结
缓存高频问答、按学科微调、横向扩容，是伴学产品稳住体验的三个要点。
记录学生高频提问，定期更新模型回答，产品会越用越聪明。
伴学产品要特别注意内容安全，模型回答不能有错误知识或不当内容，建议上线前做一轮安全过滤。按学科和年级分别部署模型，比一个大模型全包效果更精准。
总之，先保响应速度再追求模型大小，是伴学产品算力规划的核心。
随用户增长横向扩容实例，平滑不踩坑。
按学科微调模型，回答更贴合学生需求。
常见问题
问：伴学产品一定要最大模型吗？答：学科辅导有标准答案，7B到14B模型足够，更大模型反而慢且贵。
