场景
推理服务部署
将训练好的模型部署为可对外提供 API 的推理服务
1. 部署架构
- 单实例推理：适合开发验证，通过 Jupyter 或 SSH 启动 vLLM、TGI、TensorRT-LLM 等框架。
- 多副本：创建多个相同模板实例，前置自建负载均衡或使用平台即将推出的推理网关。
- 冷启动：首次拉取模型权重耗时较长，建议使用带本地缓存的模板或预热脚本。
2. 性能优化
- 量化：INT8/INT4 量化可显著降低显存与提升吞吐，需验证精度是否满足业务要求。
- 批处理：动态 batching 提升 GPU 利用率；注意 P99 延迟与 batch 窗口的权衡。
- 关键业务选用 critical SLA，缩短主机离线检测时间，降低单点故障窗口。
3. 安全与访问
- 勿将推理 API 直接暴露公网而无鉴权；推荐反向代理 + API Key 或 mTLS。
- 模型与提示词可能含敏感信息，停止实例前清除磁盘缓存。