结论先行：GPU实例快照分系统盘快照和数据盘快照，建议系统盘每周一次、数据盘每天一次。关键模型权重额外存到对象存储，双保险。
一、快照类型
系统盘快照保存操作系统和环境配置，实例重建后直接恢复。数据盘快照保存训练数据和模型权重。两者分开做，避免一次快照太大。
二、什么时候做快照
①环境配好后立即做一次系统盘快照，作为基线；②每次训练开始前做数据盘快照，防止训练中断丢数据；③模型训练到关键节点时，把权重单独上传到对象存储。
三、快照恢复流程
从快照创建新实例，选择对应的系统盘快照和数据盘快照，开机后环境和数据都在。注意快照恢复是整盘覆盖，不要在原盘上操作。
四、备份策略建议
训练数据放对象存储，模型权重放对象存储，环境配置用Dockerfile或快照。三层备份，任何一层坏了都能恢复。快照本身也有存储费用，定期清理旧快照。
五、快照与镜像的区别
快照是磁盘级别的备份，可以随时恢复。镜像则是把整个实例模板化，用来批量创建新实例。环境配好后做一个自定义镜像，以后新实例直接从镜像启动，省去装环境的时间。快照适合数据备份，镜像适合环境复用，两者配合使用。
快照是异步的，刚做快照时数据盘还在写入，建议先停训练再做快照，保证一致性。系统盘快照不包含挂载的数据盘，要单独做。
需要做快照和对象存储联动，可在GPU算力平台选择支持快照的GPU实例规格。
