结论：很多人训练完直接删实例，结果checkpoint和日志全没了，下次想复现还要重跑。在云GPU上，备份和快照和训练本身一样重要。
为什么要备份
实例是临时的，不保存就丢失。训练几小时的模型权重、实验日志、评测结果，都应该及时下载或备份到对象存储。
怎么备份
- 关键checkpoint及时下载；
- 实验日志定期归档；
- 重要环境留快照。
在 gpu.topyun.vip 上，跑完任务先备份再关机，别图省事直接删，否则重跑一次又要花一遍钱。
常见疑问
问：备份占空间吗？答：占，但比重跑便宜。旧的及时清理。
问：什么时候备份？答：每个重要节点都备，别等到最后。
