同一集群利用率提升33个百分点：改变的是分配顺序

Dharma-AI 团队在 Hugging Face 博客发文（2026 年 8 月 17 日），介绍其“约束感知 GPU 分配器”，并与 FIFO 调度器在七个基准场景上做了对比。文章称在相同硬件、相同负载下，GPU 利用率最高提升 33 个百分点，优先级加权产出在所有场景中都有提升，最高为 105%。作者强调，每个收益都是相对同一场景的 FIFO 结果，利用率以百分点表示，价值以优先级加权产出的增幅表示。

问题设定：调度决策是每个“GPU × 任务 × 时间步”组合的二元选择，输出是一张覆盖整个调度周期的分配网格。训练、批量推理和量化属于批量型任务，启动后需要连续占用一组 GPU 直到任务结束；实时推理则是弹性的，需求随时间步变化。两类形态争夺同一批硬件，是核心难点。

FIFO 的两个代价：其一，实时推理采用固定预留，即按当天峰值需求全天占卡，导致非峰值时段有卡闲置；两个场景中利用率基线约为一半集群（51.6% 和 53.6%）。其二，在资源竞争下，按到达顺序提交容量，高频优先级工作可能排在后面，部分任务因找不到合适形状而无法调度。

方法：文章给出五条约束（每个时间步一块 GPU 只服务一个任务、任务满足需求区间且已在运行的任务不被打断、批量任务占连续的 2 的幂规模 GPU 块、实时任务相邻时间步切换 GPU 数量有上限、已开始任务不可中断）。目标函数为批量任务的优先级乘时间衰减权重奖励，减去实时需求缺口的惩罚；实时惩罚权重是分配权重的 5 到 10 倍，用该惩罚替代静态预留来保障实时可用性。启发式算法让每条分配天然满足约束，在五个竞争场景中耗时 1 到 2 毫秒，64 GPU、30 任务时为 15 毫秒；系统提供快速模式（仅启发式，用于热路径）和完整模式（以启发式结果为起点再用形式模型改进）。

结果（同一场景相对 FIFO）：五个竞争场景利用率从 52%–85% 区间升至 72%–88%，价值提升 24.6%–105.1%，平均 52%。训练为主的 8 GPU 场景利用率从 53.6% 升至 87.0%，价值提升 105.1%。规模测试（64 GPU、30 任务）两者利用率同为 44.9%、完成 27/30，但价值提升 15.9%。统一优先级场景价值仍提升 23.1%，作者据此称收益不只来自优先级排序。

前提与限制：效果依赖对任务时长、GPU 数与实时流量的预测。文章按负载类型分别建模，训练预测使用 22 个特征，量化任务单独预测，实时推理则用按小时流量重新校准的周需求曲线。调度器优化 24 小时视野，但每 30 到 60 分钟重新运行并只提交当前时间步，以吸收预测误差。文中数据来自作者自建基准，部分场景为单一基线排序结果。