NVIDIA 与 IIT Madras 发布约 2.8 万亿 token 的 Indic 预训练语料及开放数据生成流程

语料概况

NVIDIA 与 IIT Madras 的 AI4Bharat 实验室联合发布 Nemotron-pretraining-Indic-v1，规模约 2.8 万亿 token，覆盖印度宪法列出的 22 种语言。据原文引用的 2011 年人口普查数据，这些语言是约 97% 印度人（近 12 亿人）的母语。语料附带开放的 GPU 加速数据生成流程，包含提示词、LLM 工作流和质量检查，开发者可将其适配到自有源材料。

按 Gemma-4 分词器统计，语料含 2,601.0 亿原生文字 token 和 224.6 亿罗马化 token。记录包含同一来源的译文与文字变体，并非独立英文文档数量。12 种语言同时提供原生文字与罗马化数据，另 10 种仅提供原生文字，共 34 种语言—文字组合。配置使用语言、文字、地区标签，例如 hi-Deva-IN 表示天城文印地语。

生成流程

源文档取自 15 个 Nemotron-CC-v2 子集，涵盖网页文本、问答、数学、代码等。流程使用开源框架 NeMo Data Designer 执行翻译、质量评估和定向修复，并保留来源标识以支持追溯。

• 12 种语言：用 Gemma-4-31B-it 做整篇文档翻译，提示词区分需翻译的正文与需保留的代码、公式、URL 和格式；再用同一模型按参考 MQM 的评分标准（含义、流畅度、术语、风格、格式）评估，仅保留 100 分制中至少 75 分的输出。低于阈值的输出依据评估反馈修复并复评，该过程回收 438.4 亿 token，已计入总量。部分通过的原生文字译文再转换为拉丁文字，并对照原生文字输入检查。
• 另 10 种语言：使用 Bodhan AI 的文档级翻译模型 Indic Translate 翻译，由 Gemma-4-31B-it 评估；桑塔利语长文档采用重叠窗口翻译后重组，曼尼普尔语先译为孟加拉文再转 Meitei Mayek 原生文字。该流程仅保留 75 分以上输出，不进行基于反馈的重写。

验证结果

Nemotron 3.5 Super VL 的持续预训练阶段预算为 1000 亿训练 token，其中 10%（100 亿）分配给合成与自然 Indic 文本的混合。技术报告对比该阶段前后的检查点，MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K 五项基准分数均上升，提升幅度为 4.98 至 9.82 个百分点；GSM8K 因评估超出服务上下文上限而不含奥里亚语。该比较针对整个阶段，未单独隔离合成语料的贡献。

限制

翻译扩大了源材料的可及性，但无法替代印度语言原生书写的文本，也不保证覆盖本地知识与文化，建议与自然 Indic 文本混合使用。质量评估以自动评分为主，人工抽样复核的覆盖度因语言而异；12 种语言流程中翻译与评判为同一模型，保留文本仍可能含错误，另 10 种语言流程需要更广泛的母语者验证。来源 ID 检查只去除处理重复，并非语义去重。