结论先行:文件传输慢90%是因为走了公网带宽限制。用内网、用并行工具、用压缩、用CDN,四个方法组合可提速5到10倍。
一、为什么慢
GPU实例默认公网带宽通常只有几Mbps,传几十GB数据要几小时。而且公网流量费很贵,传完才发现流量费比实例费还高。
二、5个加速技巧
①走内网:同VPC内实例间传输不收费且带宽高;②用s5cmd/aria2并行传输,比scp快很多;③先tar打包再传,减少小文件数量;④大文件用rsync断点续传,不怕断;⑤下载走CDN回源,不占实例带宽。
三、数据准备建议
训练数据提前上传到对象存储,实例启动后从内网拉到数据盘。不要边训练边从本地传数据。数据集固定后做一份镜像,后续实例直接从镜像启动。
四、常见误区
用scp传单个大文件看似稳定,实际上串行传输很慢。用rsync加-P参数,断点续传加进度显示,体验好很多。
四、大文件传输方案
传100GB以上文件,推荐方案:先把文件传到对象存储,再从对象存储内网拉到实例。这样不占公网带宽,速度快且不产生公网流量费。小文件打包成tar再传,避免海量小文件导致传输极慢。
大文件传输用screen或tmux保持会话,防止SSH断线导致传输中断。rsync支持断点续传,传了一半断了重新跑会继续传,不用从头来。
需要大带宽内网传输,可在GPU算力平台选择同VPC的GPU实例和对象存储。




