云上推理需求在过去一年快速增长，但请求量常常呈现明显的波峰波谷：白天高峰排队，深夜算力闲置。继云端GPU池化之后，无服务器GPU（Serverless GPU）正成为缓解这一矛盾的新选择，它把“缩容到零、按请求计费”的思路从函数计算延伸到AI推理场景。
使用粒度从实例小时走向秒级
无服务器GPU并非新硬件，而是对资源交付方式的重新封装。传统GPU云主机按小时或按月租用，即使空闲也持续计费；容器服务虽然支持弹性伸缩，但依然要维持最低副本。无服务器形态则把计费单位压到秒甚至请求级，在无流量时自动缩容至零。近一年，主流公有云陆续补齐这块拼图：托管容器平台开始提供GPU实例并按用量计费，第三方平台则进一步把部署、扩缩容与排队收敛到一次API调用。
冷启动是绕不开的门槛
决定体验的关键往往不是调度速度，而是启动延迟。一个十几GB的模型权重从对象存储拉取，常常需要数十秒，再叠加运行时初始化，用户端可能等待一分钟以上。为此，平台在几个方向同时发力：
- 权重缓存：把模型文件预热到区域级缓存或高性能文件系统，避免每次从远端拉取；
- 镜像与运行时预取：在空闲节点提前拉取镜像，缩短容器启动路径；
- 快照恢复：借助进程快照技术，把已加载完成的模型状态直接恢复，将冷启动压缩到亚秒级；
- 实例复用：在请求间隙保留“热”实例一段时间，用少量成本换取延迟稳定。
这些手段组合后，多数推理接口可以做到首个请求秒级响应，后续请求在数十毫秒内进入排队与执行。
适用场景与边界
无服务器GPU最适合负载波动大、对成本敏感、能容忍偶发延迟抖动的任务，例如面向用户的AIGC应用、文档批量解析、视频转码、模型评测与内部智能助手。相反，需要长时间在线训练、强状态交互或极致尾延迟的场景，仍更适合常驻集群。
成本不等于单价
按秒计费听上去便宜，但真实成本取决于利用率与冷启动比例。如果请求间隔短而模型大，频繁冷启动会把节省下来的闲置费用重新花在加载上；共享显存、多模型复用、请求批处理等优化能力，往往比单价更能决定最终账单。此外，模型权重存放位置、跨区流量、日志与监控开销也需要一并核算。
结语
无服务器GPU不是要取代常驻集群，而是补上弹性曲线的两端：用常驻池承接稳定流量，用无服务器承接突发的长尾需求。随着冷启动优化与显存切分逐渐成熟，云上AI推理的默认形态可能不再是“租一张卡”，而是“调用一次算力”。