结论：大模型时代，算力瓶颈正在让位于数据瓶颈。模型越来越大，但高质量标注数据越来越稀缺，数据清洗和标注的成本，往往比算力还高。这篇说说数据需求爆发背后的现实。
为什么数据成了瓶颈
预训练靠海量文本，但微调、对齐、垂直场景都需要高质量人工标注。通用数据容易拿，行业垂直数据却要一条条标，成本高、周期长。很多团队买了一堆卡，最后卡在没有好数据。
数据标注的真实成本
- 普通文本标注：按条计费，量大但单价低；
- 专业领域标注：需要懂行的人，单价高；
- 质检和返工：标注不一致还要二次校对。
怎么省数据
与其堆数据量，不如先做小而精的高质量样本。几十条精标数据，常常比几百条粗糙数据效果好。再用数据增强和合成数据补充，但合成数据要人工把关质量。
在 gpu.topyun.vip 上，数据清洗和模型微调可以按需用GPU跑，不用为标注和训练养固定硬件。把省下的硬件预算，多分一点到数据质量上，回报更高。
一句话
算力决定你能跑多快，数据决定你能跑多远。别只盯着显卡，数据才是下半场的关键。
常见疑问
问：合成数据能替代人工吗？答：能补充，但不能完全替代。合成数据要人工抽检，否则错误会被放大。
问：小团队怎么搞数据？答：先从自己业务里沉淀高质量样本，再外包标准化标注，别一上来就买大盘数据。
数据清洗别省
很多团队把数据攒齐就直接训，结果模型效果时好时坏，问题其实在脏数据。去重、去重样、统一格式、剔除错误标注，这几步看似枯燥，却直接决定模型上限。把数据当成产品对待，效果才稳。
