NeoMME：单塔多语言多模态编码器及其文档检索版本

发布内容

2026 年 9 月 3 日，H Company 团队在 Hugging Face 博客介绍 NeoMME，一个 260M 与 800M 两种规模的多语言多模态编码器家族。与常见生成式视觉语言模型不同，它不使用单独的预训练视觉塔或因果语言模型，而是由单个双向 Transformer 处理文本 token 与原始图像块，并以掩码离散扩散目标从零训练。所有模型检查点以 Apache 2.0 许可发布，并提供 Transformers 实现。

架构要点

• 文本使用分解式 token 嵌入；图像切分为互不重叠的 32×32 图像块，经小型 MLP 投影后与文本进入同一编码器。
• 图像保留原始宽高比与尺寸，属动态分辨率；上下文长度 16,384 token，官方称足以容纳最多两张标准 3840×2160 4K 图像。
• 多数层采用对称滑动窗口注意力，每第六层和最后一层使用全局注意力。
• 采用分组查询注意力、查询-键归一化、门控注意力、二维旋转位置嵌入与 squared-ReLU MLP 等近期编码器改进。
• 从零训练 131k 词表 BPE 分词器，语料含多语言文本、代码、数学与机器生成的图像转写。

训练方式

预训练为离散掩码扩散文本去噪：纯文本样本的掩码比例在 0 到 1 之间均匀采样；多模态样本使用 0.3 到 1 的掩码比例，图像块保持可见，由模型重建被掩码文本。作者解释，高掩码比例迫使模型依赖可见图像证据。预训练混合多语言文本、代码、数学、自然图像与文档图像，每个模型处理约 5240 亿打包输入 token，其中 2900 亿来自纯文本样本；相较于 ModernBERT 的 2 万亿训练 token 预算较小，因此选用 NorMuon 优化器提升数据效率。

检索版本与评测

NeoMME-Retriever 沿用 ColPali 的页面图像方法，在骨干上添加两个联合训练的检索头：稠密头对隐藏状态做均值池化并归一化；late-interaction 头将每个文本 token 或图像块投影为 128 维归一化向量。一次前向同时返回两类表示。

在 ViDoRe v3 上：

• NeoMME-Retriever-260M 的 nDCG@10 为 0.523，为参数量严格低于 800M 的受评模型中最高，与 ColQwen2.5 相差 0.002，而参数量约少 14 倍。
• NeoMME-Retriever-800M 为 0.556，与同规模 Vultron Retriever Flash（0.8B）相差 0.009。
• 两个规模均处于 nDCG@10 与模型大小的 Pareto 前沿。

ViDoRe v1、v2 使用 nDCG@5：260M 版超过 ColModernVBERT 与参数量约两倍的 ColSmol-500M；800M 版超过 ColPali v1.3，参数量少 3.6 倍。文中同时标注部分对比分数取自 MTEB，部分为作者自行评测。

存储压缩与吞吐

late-interaction 嵌入存储随向量数量线性增长：2048×2048 页面在 NeoMME-Retriever 下产生 4,200 个向量，float32 约 2.1 MB；ViDoRe v3 上实测平均每文档约 1.5 MB。作者用分层 token 池化与不对称量化压缩索引：

• 池化因子 10、查询与文档均 int8：每页约 39 kB，缩小 39 倍，保留基线 nDCG@10 的 99% 以上。
• 池化因子 8、查询 int8、文档二值化：每页 6 kB，缩小 255 倍，保留 95% 以上检索质量。

吞吐方面，在单张 NVIDIA L40S、匹配 2048×2048 输入尺寸条件下，NeoMME-Retriever-260M 约每秒编码 51 页，约为 ColModernVBERT（每秒 26 页）的两倍；两种规模在更小输入图像上也快于所比较的模型。

使用方式与边界

博客给出使用 NeoMMEProcessor 与 NeoMMEForRetrieval 的示例，用 MeanMaxSim 计算 late-interaction 分数、用余弦相似度计算稠密分数；示例依赖从主干分支安装的 Transformers。用 Sentence Transformers v6 微调时，稠密头与 late-interaction 头分别提供检查点，通过 NeoMMEModel 加载骨干；若要两个头同时训练，需使用 NeoMMEForRetrieval 配自定义 Trainer。博客还描述了视觉 RAG 的三步流程：将 PDF 页转图并索引、用同一模型编码查询并取回 top-k 页面、把页面图像随查询送入视觉语言模型生成答案。

上述指标均来自官方技术报告与自测，实际表现受输入分辨率、批量大小与硬件配置影响，不宜外推为其他条件下的固定数值。