电商大促、产品发布会、热点事件期间，AI推理流量可能在几分钟内暴涨10倍。没有提前准备弹性扩容方案，不是服务崩了就是账单爆了。
一、大促前的准备清单
1. 容量评估
- 预测大促期间峰值QPS（每秒请求数）；
- 估算单张GPU能承载的QPS（压测得出）；
- 计算需要的GPU总数=峰值QPS ÷ 单卡QPS × 安全系数（1.5~2倍）。
2. 资源预留
大促前7天向供应商预留GPU资源，确保到时候有卡可用。热门卡型临时找可能要等几天。
3. 镜像预制
所有扩容实例使用预制镜像，开机即用。不要在大促当天临时装环境。
二、弹性扩容的三层架构
| 层级 | 资源类型 | 覆盖比例 | 响应时间 | 成本 |
|---|---|---|---|---|
| 常驻层 | 包月实例 | 日常70% | 无延迟 | 最低 |
| 弹性层 | 按需实例 | 20%~30% | 5~15分钟 | 中等 |
| 应急层 | 竞价实例 | 10%~20% | 10~30分钟 | 最低 |
三、大促当天的操作节奏
- 大促前2小时：确认所有常驻实例正常运行，监控仪表盘就绪；
- 大促前30分钟：提前拉起弹性层实例，预热模型和缓存；
- 大促开始：密切监控GPU利用率和请求队列，超过70%触发自动扩容；
- 流量峰值：按需拉起应急层竞价实例，顶住最大流量；
- 流量回落：先释放竞价实例，再释放弹性层，最后回到常驻层。
四、防止账单爆炸的措施
- 设置预算上限：大促期间GPU费用上限设为日常的5倍，超过自动告警；
- 自动缩容：流量回落后自动释放多余实例，不要手动忘关；
- 降级策略：极端情况下可以降级到更小模型或减少功能，保证核心服务可用；
- 熔断机制：超过最大承载能力时直接拒绝部分请求，不要把所有GPU拖垮。
五、大促后复盘
大促结束后做一次复盘：
- 实际峰值QPS和GPU需求是否和预测一致？
- 扩容是否及时？有没有出现服务降级？
- 实际GPU费用和预算差多少？哪里可以优化？
- 下次大促需要提前多久准备？
需要大促弹性扩容的GPU资源支持，可以联系GPU弹性扩容服务，提供多区域资源池和快速交付保障。
六、总结
大促弹性扩容的核心是提前准备而非临时救火。提前7天预留资源、预制镜像、设置三层弹性架构，大促当天才能从容应对10倍流量冲击。
