过去一年,大模型的竞争主线是更大、更强,参数规模与榜单分数几乎成了唯一标尺。但进入2025年下半年,另一条路线明显提速:把模型塞进手机、电脑和可穿戴设备,让推理在本地完成。多家芯片厂商与终端厂商在近期新品发布中,把本地运行大模型列为核心卖点,端侧AI正从发布会上的演示,变成出厂默认配置。

为什么要把模型搬到端侧

最直接的原因是成本与延迟。云端推理按调用量计费,当日活达到千万级,账单会迅速放大;而本地推理的边际成本接近于零。其次是隐私与合规,通讯录、照片、健康数据不出设备,能绕开大量数据跨境与授权争议。第三是可用性,飞行模式或弱网环境下,端侧模型仍能完成摘要、翻译、改写等基础任务,不会因为一次网络抖动而中断。

技术上是怎么做小的

端侧模型并非把大模型简单裁剪,而是几条技术路线的叠加。知识蒸馏让小模型学习大模型的输出分布,在有限参数下保留大部分能力;量化把权重从16位压到8位、4位甚至更低,显著降低内存占用;稀疏混合专家架构让每次推理只激活部分参数,用更少的计算换取更大的参数总量。与此同时,手机芯片的NPU算力在两年内翻了几倍,内存容量与带宽同步提升,为三四十亿参数级别的模型提供了落地条件。

谁在推动

芯片侧,高通、联发科与苹果自研芯片都在NPU上持续加码;终端侧,手机厂商把端侧模型用于相册语义搜索、通话摘要、离线翻译和输入法联想。PC阵营同样热闹,主打AI的笔记本把本地模型与系统级功能绑定,支持会议纪要、屏幕理解与本地文档问答。开源社区则提供了大量可商用的小尺寸模型,让中小厂商不必从零开始训练,就能把能力集成进自己的产品。

还差什么

第一是内存带宽,端侧推理更多时候撞的是内存墙,而非算力墙。第二是功耗与发热,长时间运行会明显拖累续航。第三是能力上限,端侧模型在复杂推理、长上下文任务上仍与云端旗舰存在差距,需要系统层面的调度来弥补。第四是更新与分发,模型迭代速度远快于硬件换代周期,如何让老设备持续获得新能力,是厂商必须回答的问题。

可以预见的格局是端云协同:简单、高频、涉及隐私的任务在本地完成,复杂任务交由云端,由系统在两者之间动态调度。对用户来说,AI会从需要打开某个应用,变成藏在系统里的默认能力;对产业来说,端侧算力正在成为继摄像头、屏幕之后的又一个硬件竞争维度,谁能把模型和系统真正揉在一起,谁就更可能拿到下一轮换机潮的入场券。