Papers with Code 的混合检索架构：Jobs、Buckets 与推理端点协同

背景与目标

Papers with Code 重启后的目标，是让开放 AI 研究更易获取：用户可以找到论文相关产物、跨领域查看 SOTA、共享研究并在他人工作之上继续构建。这需要一个同时服务人和 agent 的搜索引擎，既能在网站使用，也可通过 CLI 与 Skill 调用。

研究检索不同于普通文本检索：需要命中精确标题与 arXiv 编号，也要理解“用于代码生成的小语言模型”这类词未共现的概念查询，识别“原始 BERT 论文”这类导航式请求，容忍标题不完整与拼写错误，并在模型服务冷启动或短暂不可用时仍能快速响应。

混合检索架构

系统以混合检索为基础：关键词检索负责精确命中，向量检索负责语义相近，二者结合通常优于单一方式；重排器（cross-encoder）可进一步提升效果，但会带来额外开销与延迟。

Papers with Code 依赖 PostgreSQL，其全文检索提供快速的词法基线；pgvector 增加语义召回；两者用倒数排名融合（RRF）合并。现有嵌入覆盖来自 arXiv 与 Daily Papers 的 110,000 余篇当前论文。

架构上明确拆分为离线语料构建与在线搜索服务：昂贵、面向吞吐的工作交给 Jobs；持久产物存放在 Bucket；只有查询嵌入这一小步位于请求路径上，由受保护的 Inference Endpoint 承担。

嵌入约定

每篇论文按“规范化标题 + 空行 + 规范化摘要”编码。每次向量生成记录模型仓库与确切版本、输出维度、输入格式版本、输入是查询还是文档、归一化方式，以及源标题与摘要的内容哈希。生产生成使用 Qwen/Qwen3-Embedding-0.6B，锁定确切版本，输出 256 维 L2 归一化向量。该模型支持动态嵌入尺寸（MRL）与指令提示，文档与查询使用不同提示。

Jobs 构建向量语料

语料构建从可重复读的 PostgreSQL 快照导出每篇论文最新版本，流式写入有界 JSONL 分片，并生成含行数与 SHA-256 校验和的清单。不可变的运行目录同步到私有 Bucket，通过 hf-mount 挂载进 l4x1 Job（NVIDIA L4，24GB 显存）。

worker 会校验清单与分片校验和、加载锁定版本、按长度排序减少填充、批量调用文档编码、显存不足时自动减小批量、截断到 256 维并归一化、原子写出 float16 Parquet 分片，并记录吞吐、包版本、硬件、峰值显存、行数与输出校验和。每个完成分片有标记，重启后可跳过已验证工作。

在 5,000 篇论文试点中，Qwen Job 在 L4 上以 1024 维约每秒编码 75 篇；同一遍可确定性地物化为 512 与 256 维，用于比较存储与检索权衡而无需重复推理。

Buckets 作为衔接层

Storage Buckets 是可变的、类 S3 的对象存储，可通过 hf://buckets/... 路径访问，并在 Jobs 中读写挂载。它连接三个生命周期不同的系统：生产数据库导出源记录、临时 Jobs 消费记录并产出向量、导入器在写入搜索索引前校验结果。产物按不可变运行前缀组织，含输入清单、论文分片、输出清单、Parquet 分片与完成标记。不可变性是应用层规则：运行 ID 从不覆盖，每个产物都有清单与校验和保护，从而支持可复现、安全重试、低成本实验、受控发布与简单回滚。

只有在导入器复核模式、校验和、维度、归一化、论文 ID 唯一性与当前内容哈希后，向量才载入 PostgreSQL；随后为新生成单独构建 HNSW 索引，并在所有当前论文均被覆盖时原子标记为活跃。

在线查询嵌入与回退

查询在请求时用同一模型约定嵌入。锁定模型以带认证的 Inference Endpoint 部署，后端为 Text Embeddings Inference，返回使用查询提示的 256 维归一化向量；文中也提到可用 vLLM 或 SGLang，但这不是其采用方案。API 通过余弦距离在活跃 pgvector 生成上检索，取前 50 条，HNSW 索引保证速度。

试点中，256 维 Qwen 索引相对精确搜索达到 0.9955 Recall@20，HNSW 查询延迟 p50 为 1.31 ms、p95 为 2.21 ms；表与索引占用约为 1024 维版本的 27%，在该测试中 ANN 召回基本持平。

端点最多一个副本，空闲可缩容至零，节省成本但意味着冷启动必须纳入设计。查询客户端因此设定：生产超时一秒、非阻塞并发上限、响应维度/有限性/范数校验、按查询与生成版本缓存、重复失败后熔断、日志只存规范化指纹不存原文。若端点在扩容、超时、返回畸形向量或无并发可用，则立即跳过语义分支，用户仍得到词法结果。

融合与确定性规则

词法与语义各取至多 50 个候选，用加权 RRF 合并排名而非分数，因两系统分数量纲不同。当前分支权重相等，k=60。稠密检索提升概念查询召回，全文检索在精确术语、标识符与罕见名称上仍占优。融合排名之上保留确定性行为：精确标题与 arXiv ID 置顶；方法分类法识别导航式查询；标题不完整与有限拼写错误用保守的三元组候选；歧义模糊匹配选择放弃而非强行给出结果。

作者提醒混合检索并非总是最优：建议先用关键词检索作为低成本快速基线，只有在语义或混合检索带来合理检索质量提升时才加入；也可在检索后加入 Qwen3-Reranker 这类重排器。

两条更新路径

全量语料由 Jobs 嵌入，但论文持续变化。每小时增量流程挑选缺失或内容变化的论文，以有界增量发送到同一 TEI 端点（使用文档提示），每次最多 500 篇、批量 16。写入前锁定源行并再次检查内容哈希；若推理期间论文发生变化，该向量丢弃，留给下一轮。分工为：Jobs 负责全量重建、新模型生成与大规模回填；端点负责交互式查询嵌入与小规模增量文档更新；Buckets 保存大构建产物并使其可续跑、可审计。

相关论文推荐

同一批文档嵌入还用于论文页的相关论文推荐。由于源论文已有存储向量，该功能在请求时无需调用模型，只做一次最近邻查询；向量临时缺失时可使用旧 arXiv 版本或现有基于任务与引用的回退方案。引用数据通过 Semantic Scholar API 获取，团队还构建了查询引用图的命令行工具 s2-cli，供 chat 界面的 agent 使用。

经验要点

• 把吞吐型工作与延迟敏感型工作分离：两者用同一模型，但基础设施问题不同。
• 让存储成为计算与生产之间的显式契约：带校验和的产物构成可审查边界。
• 不只锁定模型名称：版本、维度、提示、归一化与输入格式都会影响检索，应一起存储并处处校验。
• 为冷启动而设计：缩容至零在流量间歇时有价值，前提是产品有快速回退；混合检索天然提供了词法回退。
• 更小的向量可以是系统特性：Matryoshka 嵌入让质量、内存、索引大小与延迟作为同一权衡来评估。
• 激活流程应当平淡：新生成在旁边导入、独立建索引、检查覆盖完整且内容最新后原子激活；回滚是配置变更而非紧急重算。

文中数字均来自 5,000 篇论文试点与特定维度、硬件条件下的测试，不宜直接外推到全量语料或其他部署环境。