闲置 GPU 正成为 AI 基础设施的新瓶颈

Dharma-AI 团队于 2026 年 7 月 30 日在 Hugging Face 博客发表观点文章，借用航空业经验讨论企业 AI 的基础设施问题。文章的核心论点是：制约 AI 竞争的下一步并非模型能力，而是 GPU 的利用率。

成本与产出的错位

文章提出，GPU 的成本按日历小时累积——融资、折旧、电力、制冷，无论是否在干活；产出却只按计算小时累积。这与航空公司的结构相似：飞机成本按小时计，收入只在飞行时产生。因此两家 GPU 预算相当的企业，差距可能更多来自“硬件有多少时间在做有用的事”，而非拥有多少硬件。

瓶颈从模型转向算力

文章回顾，第一波企业 AI 靠模型质量取胜，但能力依赖专用硬件。文中列举 2020 年微软为 OpenAI 搭建的含 1 万多块 GPU、28.5 万个 CPU 核心的系统，以及 2026 年 Anthropic 跨 Amazon、Google、Microsoft、AMD 四个平台的多吉瓦级承诺、Meta 的同类交易，用来说明算力获取仍是战略约束。对企业而言，通过 API 使用模型时成本随 token 线性增长，而自购 GPU 本地运行是把变动成本换成固定资本支出，过了盈亏平衡点后更划算；但买下硬件只是开始，如何让它保持忙碌才是新问题。

忙碌的集群也可能浪费

文章指出，集群要为峰值容量预留，而同一批 GPU 需同时承担训练、微调、量化、实时推理、批量推理、嵌入生成和模型评估等负载，它们对延迟、吞吐、内存和时长的要求各不相同。为其中一种调优的调度器往往会错配其他类型，且平均占用率高时仍可能有任务在排队等待特定 GPU。与飞机不同，闲置 GPU 只能承接其内存、延迟和时长画像能匹配的负载，这使编排比机队调度更难。

GPU 管理与专业化

文章把“GPU 管理”描述为一个位于负载、模型与硬件之间的持续编排层，负责决定哪个任务何时、以何种优先级跑在哪块 GPU 上。作者强调，让 GPU 忙碌本身不是目标，因为低优先级任务也能制造忙碌假象，真正的目标是最大化每块已装 GPU 的回报。文章同时提出，专用小模型能以更低资源完成特定任务、释放容量，但释放出的容量若无编排回收，只是另一种形式的闲置；两个杠杆互为补充，缺一不可。

该文属于作者观点与行业分析，所引数据与判断来自文中叙述；GPU 管理实践的工具与规范，作者也承认尚未形成统一范式。