Serverless GPU按实际执行时间计费，没有请求时不花钱，但冷启动延迟和单次调用成本是其主要瓶颈，适合请求量波动大的推理服务。
一、什么是Serverless GPU
Serverless GPU（无服务器GPU）是一种按需执行的GPU计算模式：
- 你不需要预先购买GPU实例，有请求时自动启动容器执行；
- 按实际GPU秒数计费，闲置时不产生费用；
- 平台自动管理扩缩容和资源调度。
二、Serverless vs 常驻实例成本对比
| 指标 | 常驻GPU实例 | Serverless GPU |
|---|---|---|
| 计费方式 | 按小时（24小时计费） | 按秒（仅执行时计费） |
| 闲置成本 | 照付（空转也收费） | 零（没有请求就不花钱） |
| 冷启动延迟 | 无（一直在线） | 5~30秒（首次请求） |
| 单价 | 低（包月折扣） | 高（约1.5~2倍按需价） |
| 适合请求量 | 持续稳定 | 波动大/间歇性 |
三、什么时候Serverless更划算
场景1：API请求量波动大
白天请求量是夜间的10倍，常驻实例夜间空转严重。Serverless按实际调用量计费，夜间没有请求就不花钱。
场景2：低频调用服务
每天只有几十到几百次调用，常驻一张A100月租1.2万，Serverless按秒计费可能只要几百元。
场景3：开发测试环境
开发人员偶尔跑测试，不需要一直开着GPU。Serverless随用随启，用完即释放。
四、Serverless的成本计算
假设某推理API：
- 日均调用1000次；
- 每次调用GPU执行时间2秒；
- Serverless GPU单价：2元/秒；
- 月GPU费用=1000次×2秒×2元×30天=12万元。
等等，这比常驻贵多了？不对——2元/秒太高了。实际Serverless GPU单价约0.01~0.05元/秒（折合36~180元/小时），月费=1000×2×0.03×30=1800元。对比常驻A100月租1.2万，Serverless省了85%。
五、Serverless的主要问题
问题1：冷启动延迟
GPU容器冷启动需要5~30秒（加载模型权重到显存），对实时API不友好。解决方法：
- 设置最低常驻实例数（如保持1个预热实例）；
- 使用小模型减少加载时间；
- 客户端做超时重试。
问题2：单次执行时间限制
多数Serverless平台有单次执行时间上限（如15分钟），不适合长时间训练任务。Serverless GPU主要面向推理而非训练。
问题3：并发限制
高并发时平台可能限流，需要申请提高并发配额。
六、混合架构：常驻+Serverless
最优方案不是二选一，而是混合：
- 常驻实例：覆盖日均70%的基线请求量，保证低延迟；
- Serverless实例：补充高峰时段的30%突发请求，用完自动释放；
- 总成本比纯常驻低30%~50%，同时保证高峰期不超时。
需要弹性GPU推理服务，可以参考Serverless GPU推理提供的按需弹性GPU方案。
七、总结
Serverless GPU不是银弹，但对请求量波动大、低频调用的场景，它是成本最优解。混合架构（常驻保底+Serverless弹性）是生产环境的最佳实践。
