过去十余年,企业数据建设的重心大多落在结构化数据上:交易记录、订单明细、财务科目被整齐地装进数据仓库,报表与看板成为数据价值的主要出口。但越来越多企业发现,真正沉淀业务经验的,恰恰是那些散落在文档、邮件、工单、图纸、录音和视频里的非结构化数据。大模型与检索增强生成(RAG)的普及,让这批长期沉默的资产第一次有了被规模化调用的可能,也把非结构化数据治理推到了台前。

从配角到主角

以往非结构化数据多以附件形式存在,躺在文件服务器、网盘或对象存储里,靠目录层级和文件名检索,既没有统一元数据,也很少与业务系统打通。当企业希望用自然语言直接向知识库提问时,问题立刻暴露:一份制度存在多个版本,扫描件无法被检索,同一份合同不同部门的可见范围并不相同。数据团队的工作内容随之变化,从建表建仓,转向搭建可被模型稳定消费的知识供给链。

治理难在何处

业内普遍引用的判断是,企业数据总量中八成以上属于非结构化数据,且增速快于结构化数据。难点集中在四个方面:格式繁杂,既有排版规整的电子文档,也有扫描件、CAD图纸和音视频;质量参差,同一主题的内容重复、过期、相互矛盾;权限细碎,内容级权限往往比表级权限复杂得多;元数据缺失,缺少业务语义的内容很难被精准检索和复用。任何一环缺位,模型给出的答案都可能似是而非。

技术路径的四个关键词

行业落地已见雏形

金融机构把信贷合同、研究报告接入尽调助手,缩短资料检索时间;制造企业将设备手册与维修工单入库,辅助一线人员定位故障;医疗机构整理病历与诊疗指南,支撑临床知识检索。这些场景有一个共同点:治理工作被嵌入业务流程,而不是事后补课。谁产出内容,谁就负责补齐元数据与权限标签,数据团队提供工具与规范。

合规是绕不开的底线

非结构化数据往往包含个人信息与商业机密,分类分级、敏感信息识别、脱敏与访问审计必须先行。留存与销毁策略同样重要,避免历史文件在不知情的情况下被模型调用。对跨机构协作场景,还需在数据不出域的前提下提供检索能力,这对架构设计提出了更高要求。

总体来看,非结构化数据治理不是一次性项目,而是伴随模型迭代持续演进的基础工程。务实做法是从高价值场景切入,先建一条最小可用的知识供给链,跑通解析、语义增强、检索与权限闭环,再逐步扩展到更多业务域。谁先把沉默的数据变成可被信任的知识,谁就更有可能在大模型应用中拿到实际收益。