场景
AI 模型训练
从环境选型、多卡分布式到 checkpoint 与 SLA 选型
1. 推荐配置
- 单机多卡：选择 A100/H100 等高端型号，模板选用 PyTorch 2.x + CUDA 12，显存按模型参数量预留 1.2～1.5 倍安全余量。
- 大模型微调：建议 sla_tier 设为 protected 或 critical，避免主机离线导致数小时训练成果丢失。
- 分布式训练：当前通过多台单卡实例 + 自研启动器实现；后续将支持同集群 NCCL 拓扑感知调度。
2. 数据与存储
- 数据集建议放在实例挂载的工作区或提前上传至平台对象存储，通过环境变量 SUANLI_DATA_URI 挂载。
- 检查点目录设置为 workspace 子路径，确保停止后 24 小时内可 resume；超大 checkpoint 请压缩后同步到外部 OSS。
- 避免将 TB 级数据仅存于容器可写层；容器重建后可写层数据不可恢复。
3. 训练最佳实践
- 使用 mixed precision（bf16/fp16）降低显存占用；定期 torch.save 或 Hugging Face Trainer 的 save_steps。
- 监控 GPU 利用率与显存：若长期低于 30%，考虑降级 GPU 型号以节省成本。
- 长任务设置 planned_duration_seconds 与钱包余额告警，防止余额耗尽中途停机。