MSP：无需配对跨模态数据的多模态 LLM 自博弈训练框架

研究内容

arXiv 预印本（arXiv:2610.20965v1，公告时间 2026-10-16）提出 Modality Self-Play（MSP）训练框架，针对多模态基础模型对配对跨模态数据依赖过重的问题。该框架不依赖真实配对的跨模态数据，而是以“锚定模态 + 代理支撑文本”的方式构建训练信号：给定一个已观察模态（如图像或音频），模型为互补的未观察模态生成代理文本描述，这些描述经编码后通过学习到的桥接结构与已观察模态对齐，从而在无真实配对非文本监督的情况下实现跨模态交互。

核心假设与效果

作者的核心假设是：代理文本配合对比学习预训练的编码器，能够提供足够的语义结构，使多模态组合能力得以涌现。据摘要，MSP 支持零样本模态组合：仅用真实锚定模态及其代理描述训练的模型，在推理阶段即便从未见过真实配对非文本数据，也能整合并推理多种模态。实验方面，摘要称 MSP 在多个多模态基准上取得最优或具竞争力的表现；消融实验显示学习到的桥接结构改善了对齐效果，锚定支撑的代理描述有助于有效的跨模态组合。

适用场景与限制

该方法面向多模态模型训练中数据获取成本高、跨模态组合难扩展的场景，试图减少对真实配对非文本监督（如音视频配对）的需求。

限制与待核实

该来源为预印本摘要，未经同行评审，论文结论尚未经过独立验证；具体基准、对比方法与实现细节需查阅原文。摘要同时指出该方法仍依赖模态-文本配对、预训练对比编码器以及模态分布桥接校准，并非完全摆脱数据依赖。