过去两年，大模型的竞争集中在参数规模与云端算力。进入2025年，另一条曲线开始陡峭：参数量在1B到8B之间的小模型被塞进手机、PC和车机，端侧AI从发布会上的演示走向真正的量产交付。
从云端下沉到口袋
端侧推理并非新概念，变化在于可用性。4比特量化、稀疏化与知识蒸馏把模型体积压缩到2至4GB，主流旗舰手机的NPU算力达到数十TOPS，足以在本地流畅运行对话、摘要、翻译、语音转写与图像编辑等任务。谷歌Gemini Nano、苹果端侧模型、微软Phi系列，以及国内面壁智能MiniCPM、阿里Qwen的小尺寸版本，构成了这一轮落地的模型供给。
场景选择也很务实。厂商大多先落地离线翻译、会议纪要、相册语义搜索、通知摘要这类短输入短输出的功能，而不是直接让本地模型写长篇报告——后者对内存与续航的消耗难以承受。
厂商为什么愿意买单
- 成本：每次推理都走云端，按token计费的账在亿级用户面前很难算平；本地推理把边际成本压到接近零。
- 隐私：通讯录、相册、健康与办公文档不出设备，对合规审查与用户信任都是加分项。
- 时延与可用性：离线可用、首字响应更快，在地铁、飞机等弱网环境下体验差异明显。
动机也不只在体验。端侧能力正在成为换机理由，芯片厂商把NPU写进发布会的核心参数，手机与PC品牌则把本地AI做成卖点，一条围绕端侧模型的软硬件供应链正在成形。
瓶颈仍在硬件与生态
制约同样清晰。内存带宽与功耗是硬约束，长时间运行本地模型会明显影响续航与机身温度；手机内存普遍在12GB到16GB之间，留给模型的余量有限，多任务并发时容易被系统回收，导致后台推理中断。
模型更新也很棘手。云端一次部署即可完成升级，端侧则要面对机型碎片化、算力差异与用户流量成本，版本同步往往滞后数周甚至数月。开发者还得为不同芯片架构分别适配，工作量远超想象。
评测体系同样缺位。同一模型在不同芯片上的实际速度、首字时延与功耗缺乏统一口径，厂商给出的数据多来自理想条件，用户很难横向比较，也难以判断一项功能是否真的在本地完成。
混合架构可能是终局
更现实的答案不是二选一。简单任务本地处理，复杂任务交给云端，由操作系统动态调度，这类端云协同方案已被多家厂商采用。它既能保住隐私与成本，又能保留大模型的能力上限，还能按网络状况自动降级。
端侧小模型的真正意义，或许不在于替代云端大模型，而在于把AI变成随时在线的基础设施。当推理不再需要等待网络，交互方式、应用形态乃至操作系统的人机接口都会随之改变，而这正是下一轮硬件竞争的关键变量。