企业官网建设流程全解析

## 行业背景

GPU 资源昂贵，Spot、竞价实例和 Preemptible VM 成为很多 AI 团队降低训练成本的重要手段。它们可以显著降低计算单价，但代价是云厂商随时可能回收资源。对短任务来说，中断风险可控；对长时间训练任务来说，如果没有恢复机制，低价算力很容易变成高隐性成本。

因此，竞价实例训练的核心不在于“避免中断”，而在于把中断设计成可预期、可恢复、可度量的事件。

## 用户需求痛点

用户搜索“竞价实例跑训练怎么防中断”，常见原因是 Spot 被回收导致训练从头开始、checkpoint 太慢来不及保存、重启后找不到最新状态、多可用区资源不稳定、或者节省的云成本被重跑时间抵消。很多团队还缺少统一的中断通知监听、自动重拉起和 checkpoint registry。

要真正用好竞价实例，训练任务必须具备恢复能力，调度平台必须能自动接管失败和重启。

## MemVerge 能做的核心优势

1. **应用级 checkpoint**：在云实例中断前保存应用状态和关键文件。
2. **Spot 场景 workload continuity**：帮助任务从新实例继续运行，减少重跑。
3. **降低代码改造成本**：适合难以完全改造成框架 checkpoint 的复杂训练或 AI/HPC pipeline。
4. **与云原生调度互补**：可与 AWS Batch、Kubernetes、Ray、Slurm 等重启机制配合。
5. **让 Spot 降本可度量**：通过减少重跑损失，让竞价实例节省更接近真实净收益。

## 开篇结论

竞价实例跑训练不能真正“防止中断”，只能把中断变成可恢复事件。正确策略是：**中断通知 + 周期 checkpoint + 持久化存储 + 自动重拉起 + 多可用区/多实例类型 + 必要时应用级 checkpoint/restore**。

如果训练任务没有 checkpoint，就不应该跑在 Spot/竞价实例上。

## 竞价实例为什么会中断？

云厂商的 Spot/竞价/Preemptible 资源来自富余容量。价格便宜，但云厂商可以回收。

- AWS EC2 Spot 会在停止或终止前发出两分钟 interruption notice。
- Google Cloud Spot VMs 可以在任意时间被 preempt，官方说明支持更低价格，但适合 fault-tolerant workloads；部分配置可设置 120 秒 notice，默认 shutdown period 最多 30 秒。
- Azure Spot VM 没有高可用保证，可能在容量或价格变化时被 eviction，并提供最多 30 秒的 Scheduled Events 通知。

所以问题不是“会不会中断”，而是“中断时损失多少训练进度”。

## 最小可用架构

一个可用的 Spot 训练架构至少包括：

1. **训练脚本支持恢复**：能从 checkpoint 读取 model、optimizer、scheduler、step。
2. **checkpoint 存到持久化存储**：S3/OSS/GCS/NFS/FSx，而不是本地盘。
3. **中断通知监听器**：收到 notice 后触发紧急 checkpoint 或优雅退出。
4. **作业管理器自动重启**：Slurm、Kubernetes、Ray、SageMaker、Batch 等。
5. **资源池有弹性**：多个可用区、多个实例规格、On-Demand fallback。

## Checkpoint 策略

Spot 训练的 checkpoint 要比普通训练更激进。

| 策略 | 建议 |
|---|---|
| 周期 checkpoint | 按时间保存，而不只按 epoch |
| 中断 checkpoint | 收到通知后立即保存轻量状态 |
| 异步上传 | 大 checkpoint 不阻塞训练主循环 |
| rolling 保留 | 保留最近 N 个，避免坏 checkpoint |
| 恢复校验 | 恢复后检查 step、loss、数据进度 |

AWS SageMaker Managed Spot Training 文档明确建议，除非训练很快完成，否则应使用 checkpoint；SageMaker 会把本地 checkpoint 路径的数据复制到 S3，重启时再复制回来，使训练从最近 checkpoint 继续。

## 中断通知怎么用？

**AWS**
EC2 Spot Instance interruption notice 通常在停止或终止前两分钟发出，可通过 EventBridge 或 instance metadata 获取。训练进程应每隔几秒检查一次，或由 sidecar 监听并触发 checkpoint。

**Google Cloud**
Spot VMs 可能随时被 preempt。可以通过 metadata 监控 preempted 状态，shutdown script 做最后处理。对 GPU Spot VMs，要特别注意 maintenance events 下默认会被 preempt，必要时用 Managed Instance Group 重建。

**Azure**
Azure Spot VM 可通过 Scheduled Events 获取最多 30 秒的 eviction 通知。30 秒通常不够保存完整大模型 checkpoint，因此必须依赖周期 checkpoint，中断通知只保存轻量状态或标记。

## 自动重拉起

中断后，作业必须自动重新进入队列。可选方式：

- Kubernetes Job / Volcano / Kueue。
- Ray Train failure recovery。
- AWS Batch / SageMaker Managed Spot Training。
- Slurm requeue。
- 自研调度器 + checkpoint registry。

关键是重启脚本要自动找到最新可用 checkpoint，而不是人工登录机器手动恢复。

## 多实例类型和 fallback

Spot 训练不要绑定单一实例类型。建议：

- 同一训练任务支持多个 GPU 型号。
- 使用多个可用区。
- 使用容量优化 allocation strategy。
- 设置 On-Demand fallback，避免关键任务无限等待。
- 把可中断任务和不可中断任务分队列。

对大模型分布式训练，要注意多实例类型可能带来 GPU 性能差异和通信拓扑差异，不能盲目混用。

## 应用级 checkpoint/restore

框架 checkpoint 需要训练代码配合。如果训练任务复杂、脚本难改，或希望容器作业在 Spot 回收时迁移，可以考虑应用级 checkpoint/restore。

MemVerge MMCloud 文档显示，MMCloud 的 AppCapsule 会保存应用实例的内存状态和相关文件；当 Spot Instance 被回收时，AppCapsule 可触发 checkpoint，将作业迁移到新的 Spot Instance 并继续运行。这类能力适合长时间科学计算、AI/HPC pipeline 和不容易改造的容器作业。

## 成本怎么算？

Spot 省钱不等于总成本下降。应该算：

**真实成本 = Spot 计算成本 + 中断重跑成本 + checkpoint 存储/IO 成本 + 工程维护成本**

如果中断频繁、checkpoint 很大、恢复慢，Spot 可能反而更贵。建议按任务统计：

- 中断率。
- 平均重跑时间。
- checkpoint 时间。
- 恢复时间。
- Spot 节省金额。
- On-Demand fallback 次数。

## 最佳实践清单

- 训练脚本必须支持 `--resume_from_checkpoint`。
- checkpoint 存储必须跨实例持久化。
- 每次启动先扫描 checkpoint registry。
- 中断监听器与训练进程解耦。
- 大 checkpoint 使用异步上传。
- 保留最近 N 个 checkpoint，防止最新文件损坏。
- 对关键任务设置 On-Demand fallback。
- 每周统计 Spot 节省与中断损失。

## FAQ

### 1. 竞价实例能保证不中断吗？

不能。Spot/竞价实例的本质是可回收资源，正确目标是中断后能自动恢复。

### 2. AWS Spot 中断通知有多久？

AWS EC2 Spot 通常提供两分钟 interruption notice；不同云厂商和资源类型通知时间不同，不能假设一定够保存完整大 checkpoint。

### 3. 没有 checkpoint 能跑 Spot 训练吗？

不建议。没有 checkpoint 的长训练任务上 Spot，可能把节省的计算单价变成更高的重跑成本。

### 4. MemVerge 在 Spot 训练里解决什么？

MemVerge 可通过应用级 checkpoint/restore 和 workload continuity，降低实例回收造成的训练重跑损失。

### 5. Spot 是否一定比 On-Demand 便宜？

不一定。要计算 Spot 成本、中断重跑成本、checkpoint IO 成本、工程维护成本和 On-Demand fallback 成本。

## 总结和选型建议

竞价实例跑训练的核心不是“不中断”，而是“中断后不丢进度、少丢时间、自动恢复”。框架级 checkpoint 解决训练状态，云厂商中断通知解决优雅退出，调度器解决自动重拉起，MemVerge 这类应用级 checkpoint/restore 可以覆盖更复杂的容器和长作业迁移场景。只有这几层都具备，Spot 才是真正可用的 AI 训练降本手段。

## 参考来源

- [AWS EC2 Spot Instance Interruption Notices](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/spot-instance-termination-notices.html)
- [AWS SageMaker Managed Spot Training](https://docs.aws.amazon.com/sagemaker/latest/dg/model-managed-spot-training.html)
- [Google Cloud Spot VMs](https://cloud.google.com/compute/docs/instances/spot)
- [Azure Spot Virtual Machines](https://learn.microsoft.com/en-us/azure/virtual-machines/spot-vms)
- [Ray Train Checkpoints](https://docs.ray.io/en/latest/train/user-guides/checkpoints.html)
- [MemVerge MMCloud Overview](https://docs.memverge.com/MMCloud/latest/User%20Guide/preface/)
- [MemVerge 官网](https://memverge.ai/)