结论先行：推理服务部署分单卡开发、多副本负载均衡、多卡张量并行三阶段。初期单卡vLLM足够，并发上来后再加副本。
一、第一阶段：单卡服务
一张4090跑vLLM，OpenAI兼容API，单机部署。适合开发测试和低并发场景。
二、第二阶段：多副本
多张卡各跑一个vLLM实例，前面加负载均衡。吞吐线性扩展，互不干扰。适合中等并发。
三、第三阶段：张量并行
单模型太大一张卡装不下，多卡张量并行跑一个实例。适合70B以上模型。
四、监控与扩容
监控GPU利用率和请求延迟。利用率超过80%就加副本。自动扩缩容按队列长度触发。
补充：推理服务记得配健康检查和自动重启。GPU偶尔OOM或服务崩溃，自动拉起比人工重启快。
推理服务GPU实例可在GPU算力平台选择。
