Hugging Face Hub 新增 RL Environments 筛选与框架标签

变化内容

Hugging Face 于 2026 年 9 月 28 日发布消息：Hub 上新增了 RL Environments 筛选入口。按照作者的说法，RL 环境为智能体提供任务、根据动作返回观测并给出奖励，可用于评估或训练信号。此次发布只覆盖环境中的 tasksets 部分，runtimes 不在其列。

实现方式并不引入新的仓库类型、注册表或注册流程：一个 RL 环境就是一个带 rl-environment 标签的 dataset 仓库，会出现在新的筛选器中。“Use this dataset”按钮会给出在该框架下运行的命令。

框架标签

四个框架被注册为 dataset library：

• harbor（Harbor）
• verifiers（Verifiers）
• openenv（OpenEnv）
• nemo-gym（NeMo Gym）

每个框架标签会在数据集页面显示图标，并生成对应的使用代码片段。一个数据集可以同时携带多个框架标签；标签只表示兼容性，添加标签不会转换仓库文件，所列框架必须都能支持仓库中的文件。标签也不会启动任务或沙箱；Hugging Face Jobs 与基于 Jobs 的 Sandboxes 是另外的运行能力。

使用与限制

原文分别给出了 Harbor（oracle 参考解加验证器打分）、Verifiers（在相同任务上运行模型）、OpenEnv（运行 agent 并读取 reward 与模型调用次数）和 NeMo Gym（收集轨迹与奖励，可用于评估与 RL 训练）的示例。其中 OpenEnv 示例要求 Harbor 任务目录结构，reward 为 None 表示未产生验证器奖励，应先查看 error 再判断。NeMo Gym 的 Structured Outputs 示例中，验证器只奖励对 schema 的遵循，不检查内容事实正确性。

已收录与后续

文章列出了已提交标签 PR 的若干环境，如 Harbor 下的 BeyondSWE、Terminal-Lego、Harbor-Mix、NatureBench，Verifiers 下的 Reverse-Text-RL、Multi-SWE-RL-Verified 等，以及 NeMo Gym 下的 Workplace Assistant、Structured Outputs 等。统一仓库与讨论区的好处是修复坏任务后各框架可同步获得更新。

首版为每个框架生成一个默认片段；按配置生成片段、严格目录结构的自动检测以及自定义任务 UI 被列为后续方向。OpenEnv 已在上传时自动打标签，其他框架可自行在推送流程中加入。