过去两年，GPU是云上最紧俏也最昂贵的资源。但一个常被忽略的事实是：除大规模训练任务外，大量推理、微调、渲染与科学计算场景的显卡利用率长期徘徊在15%至30%。当整卡包月仍是主流售卖方式，闲置的算力就等于持续流失的成本。于是，围绕“把一张卡切开、错开、调度起来”的工程实践，正在把云上GPU从独占独享推向分时池化。
整卡独占为什么难以为继
一是价格。单卡月租动辄上万元，中小团队很难为峰值几分钟的流量长期付费。二是供给。高端卡交付周期长，云上可用区经常处于售罄状态，而售罄的卡里往往还留有大量碎片算力。三是形态错配：训练任务需要长时间独占与高速互联，推理任务却是短请求、低并发、可中断，用同一种售卖方式承载两类负载，天然浪费。
三条技术路径
- 硬件切分。以MIG为代表的方案把单卡划分为多个相互隔离的实例，显存、计算单元、带宽各自独立，适合小模型推理与开发测试，隔离性最好，但切分粒度固定、不能跨卡聚合。
- 时间片共享。通过驱动层时间切片或虚拟化，让多个任务轮流使用同一张卡，灵活度高，代价是上下文切换开销与延迟抖动，显存不足时还会互相挤占。
- 池化调度。在集群层把GPU视为可分配资源，借助设备插件、拓扑感知调度、队列与配额、抢占与回收，把碎片拼成可用的算力池。这是最接近“云”的做法，也最考验平台工程能力。
落地时的三个现实约束
第一，隔离不等于安全。显存残留、侧信道等问题意味着多租户共享更适合内部团队或可信租户，对外服务仍需按整卡或按MIG硬隔离。第二，性能抖动必须被量化。共享会抬高尾延迟，推理服务需要重新压测并做SLO分级，把对延迟敏感的在线服务与可中断的离线任务分池运行。第三，计费与治理要跟上。从整卡月租转向按卡时、按秒计费后，标签、配额、预算告警成为必需品，否则省下来的钱很快会被失控的试用任务吃掉。
从卖资源到卖服务
值得注意的是，池化的终点并不是更细的计费单位，而是把算力变成可运营的服务：冷启动更快的模型加载、按请求或按token计费的推理端点、训练与推理错峰复用的统一资源池。对使用者而言，这意味着不必再关心卡在哪台机器上，只需关心吞吐、延迟与成本上限；对平台方而言，单卡利用率从三成提升到六成，等价于凭空多出一倍的稀缺供给。在算力依旧紧张的当下，这或许是云计算最实在的一次效率改进。