过去十年,大模型的进步很大程度上靠"喂数据"——把互联网上能爬到的文本、图片、代码统统吞下去。但这条路正逼近极限。多家研究机构估算,互联网上高质量公开文本总量在数十万亿词元量级,而头部模型的训练消耗正以每年数倍速度增长,按当前节奏,公开数据池可能在数年内被用尽。于是,一个新的答案浮出水面:让模型自己造数据。
从搬运到自产
合成数据并不是新鲜事物。早期它主要指用规则或仿真程序生成的样本,比如自动驾驶里用三维引擎渲染的虚拟路况。如今它有了新的含义:由大模型自己生成、再拿来训练模型的语料。常见做法有三类。
- 模型生成:让强模型出题、解题、写代码、编对话,把输出清洗后当作训练素材,典型如数学推理链和指令微调数据。
- 仿真合成:在虚拟环境中生成带标注的场景,用于自动驾驶、机器人操作和工业质检,成本与风险都低于真实采集。
- 蒸馏回灌:把大模型的能力压缩进小模型,让小模型在推理时模仿大模型的输出分布。
这些手段的吸引力很直接:成本低、可控、可扩展,还能针对性补齐稀缺场景——比如罕见病影像、极端天气路况、小语种对话。
风险:模型也会近亲繁殖
问题在于,合成数据一旦占比过高,模型可能陷入"近亲繁殖"。研究者把这种现象称为模型坍缩:当模型反复在自己的输出上训练,分布的尾部会逐渐消失,输出多样性下降,错误被放大并固化。有实验显示,连续多代纯合成数据训练后,模型会遗忘长尾知识,语言变得单调。
另一重隐患是评测污染。如果评测集本身也混入模型生成的题目,分数就会虚高,掩盖真实能力的停滞。
行业正在寻找平衡点
目前的共识是"混合配比":以真实数据打底,合成数据做增量。主流做法包括:优先用可验证的任务(数学、代码、形式化证明)生成合成数据,因为答案能被程序自动校验;引入规则校验器或奖励模型,过滤低质输出;保留一定比例的人类标注与真实语料作为分布锚点;建立数据溯源机制,标记内容是否由模型生成。
在医疗、金融、工业等容错率低的领域,合成数据更多扮演预训练素材而非最终教材,关键环节仍需真实样本参与微调与验收。
数据能力成为新门槛
合成数据真正改变的,是竞争格局。过去比拼谁爬得多、买得起,现在比拼谁能设计出可验证的生成流程,谁能把合成数据与真实数据调配得当。数据工程从"搬砖"变成一门需要严谨实验的学科:清洗、配比、去重、去毒、评估闭环,每一环都决定模型上限。
可以预见,未来一段时间的模型迭代,不再是单纯堆算力和参数,而是围绕"数据配方"展开。谁能找到真实与合成之间的最佳比例,谁就更可能在下一次跃迁中占得先机。