过去两年，大模型的上下文窗口一路扩容：从早期的几千个 token，到 128K 渐成主流配置，再到如今多家厂商宣称支持百万级 token。输入越长，模型能一次读完的材料就越多，长文档问答、代码库理解、多轮长对话随之被寄予厚望。但业界逐渐意识到，窗口变大只解决了容量问题，并没有解决记忆问题。
窗口扩容不等于记忆可靠
研究者在“大海捞针”测试中发现，当关键信息被埋在长文本中段时，模型的召回率明显下降，这一现象被称为“迷失在中间”。后续的多针测试与多跳推理基准进一步显示，上下文越长，模型对信息位置的敏感度越高，稍作改写或调换顺序，答案就可能漂移。
成本同样是硬约束。注意力机制的开销与序列长度高度相关，KV 缓存的显存占用会随对话轮次持续累积。在真实业务里，把整本手册塞进提示词，往往意味着更高的延迟与更贵的账单，却未必换来更准的回答。
从堆上下文到管记忆
于是，上下文工程成为新热词：与其一味加长输入，不如决定什么该进、什么该留、什么该忘。
- 分层记忆：把对话缓冲、任务状态、用户画像分层存放，短期信息留在窗口内，长期偏好写入外部存储。
- 检索与长上下文混合：先用检索缩小范围，再用长窗口做整体理解，兼顾成本与准确率。
- 主动压缩与摘要：对历史轮次做滚动摘要，保留结论与约束条件，丢弃冗余表达。
- 显式遗忘：为用户提供删除、过期与更正机制，让记忆可审计、可撤回。
落地仍在补课
在客服、法律检索、个人助理等场景，记忆管理的收益最为直观：同一用户第二次提问时不必重复背景，跨会话的任务能够接着做。但问题也随之而来——被记住的敏感信息如何隔离，错误记忆如何纠正，多用户共享记忆会不会串味。
更现实的短板是评测。现有基准多关注单次长文本理解，缺少对长期记忆准确性、遗忘合规性与跨会话一致性的系统衡量。厂商各自公布的窗口长度，也难以反映实际可用容量。
结语
长上下文把模型的能力边界又推远了一步，但真正的门槛正在从“能装多少”转向“记得多准、忘得多干净”。接下来一段时间，记忆的读写策略、成本控制与隐私边界，很可能比窗口数字本身更值得关注。