过去两年，大模型厂商比拼的是算力与参数规模；如今，一个新瓶颈浮出水面——可用的人类文本正在变少。多家研究机构估算，公开互联网中高质量、可授权的中文与英文语料，可能在未来几年内被主流模型反复读完。在数据告急的背景下，合成数据被推到了训练流程的中心位置。
什么是合成数据
合成数据指由算法或大模型自身生成、改写、标注的数据，而非直接采集自真实世界。常见做法有三类：一是用能力更强的教师模型生成答案，蒸馏给学生模型；二是让模型自我对弈、自我验证，生成推理链条；三是基于规则与仿真环境批量生成场景化样本。与人工标注相比，它成本低、速度快，还能定向生成稀缺的长尾案例。
为什么厂商离不开它
- 真实语料稀缺：开放网页文本被多轮训练后边际价值递减，独家数据又难以获取。
- 版权与隐私压力：直接使用受版权保护的文本、个人信息风险上升，合成数据可规避部分争议。
- 长尾场景难采：医疗罕见病例、极端路况、工业故障等真实样本稀少，仿真与生成可补齐。
- 可验证任务友好：数学、代码等有标准答案的领域，模型能生成大量可自动判分的训练样本。
模型坍塌不是危言耸听
2023年以来，多项研究反复提示同一风险：当模型用自己生成的数据反复训练，输出分布会逐渐收窄，罕见表达与边缘知识被逐代抹去，最终表现为多样性下降、错误固化，学界称之为模型坍塌。此外，合成数据还会放大教师模型固有的偏见；若评测集也混入生成内容，榜单成绩可能出现虚高。业内还观察到一种近亲繁殖现象：不同厂商的模型互相蒸馏，导致能力趋同、风格雷同，用户端可感知的差异越来越小。
行业正在补的几门课
面对风险，厂商的做法趋于务实。其一，控制配比，多数训练配方仍以真实数据为主粮，合成数据占比按任务分层设定，推理类可高一些，开放对话类偏低。其二，强化过滤与去重，对生成内容做质量打分、事实校验和多样性聚类，剔除低质与重复样本。其三，引入真实反馈闭环，用可验证奖励、人工抽检和线上行为数据校正合成分布。其四，建立数据溯源，记录每批数据的来源、生成模型与版本，便于追责与复现。
与此同时，监管与行业标准也在跟进。部分地区的合规指引要求披露训练数据构成，数据来源的透明度正从加分项变为必答题。对厂商而言，数据治理能力正在取代单纯的参数规模，成为模型能力的新变量。有团队开始尝试人机混合标注，让专业人员只处理模型无法判定的疑难样本，把有限的人力用在刀刃上。
结语
合成数据缓解了语料枯竭的燃眉之急，却不是免费午餐。它的价值取决于配比是否合理、验证是否严格、溯源是否清晰。谁能在用模型造数据与守住真实世界之间找到平衡，谁就更可能在下一轮模型竞争中同时守住能力与多样性。