用100步GRPO提升350M模型结构化输出能力：IFStruct评测从22.6%到29.7%

2026年9月3日，Hugging Face博客发布了一套公开的低成本实验方案：用TRL库对LFM2.5-350M做Group Relative Policy Optimization（GRPO）微调，改善结构化输出合规性，并在IFStruct基准上评测。

实验设置

训练数据来自nvidia/Nemotron-RL-instruction_following-structured_outputs，约500条样本，每条含目标JSON Schema和期望字段数。为缩小与评测分布差距，作者对提示做了两类增强：40%追加"用围栏代码块包裹输出"的指令，另20%改造成顶层数组任务。

模型挂载LoRA适配器，r=16、alpha=32，针对LFM2.5的混合注意力/卷积结构指定q_proj、k_proj、v_proj、out_proj、in_proj、w1、w2、w3等模块，训练参数约6M，占模型约1.66%。

奖励函数有三个，均取[0,1]：json_format_reward（格式正确1.0，格式错误但可解析0.2，不可解析0.0）、field_count_reward（字段数完全匹配1.0，偏差线性衰减）、schema_validation_reward（按约束违规计数，要求必填键覆盖）。三者加权为[1.0, 0.5, 2.0]。

训练配置：100步、每组8个生成、学习率5e-5、每卡batch size 4、梯度累积8、最大完成长度1024、温度1.1、KL惩罚beta=0.01，面向免费16GB GPU。完成后将LoRA合并回基座权重，再转换为BF16 GGUF，用llama.cpp的OpenAI兼容接口评测（MacBook Pro M5 Max/36GB，上下文32768，并行4请求）。

结果

同一服务栈下，IFStruct 2000条样本的整体通过率从22.6%升至29.7%。分格式看，JSON从18.0%升至31.9%（+13.9），YAML从27.2%到27.5%（+0.3）；按结构看，裸列表从16.6%升至29.7%（+13.1），包装键从28.5%到29.7%。作者指出，提升集中在训练所针对的JSON和裸列表方向，整体仍低于文中提到的Qwen3.5-2B的33.15%。

边界说明

作者明确，该训练管线并非IFStruct博客中RL模型所用的管线，目标不是复现该基准分数，而是展示小模型任务特定微调的效果；基座模型在本地llama.cpp/BF16环境下测得22.6%，与IFStruct发布博客报告的21.1%接近，比较均在同一服务栈内进行。