NVIDIA VSS Blueprint 3.3 降低视觉智能体的构建与运行成本
NVIDIA 发布 VSS Blueprint 3.3,新增 Build Vision Agent 技能以单条提示词自动组合多工作流部署,并以自适应 EVS 按帧裁剪未变化视觉区域,减少 VLM 输入 token 与 GPU 占用。
本次变化
NVIDIA 开发者博客 2026 年 9 月 29 日介绍 Metropolis 视频搜索与摘要(VSS)Blueprint 3.3。该版本把 Cosmos 等视觉语言模型、Nemotron 等 LLM、RAG 与 MCP 工具串起来,将实时与录像视频转为自然语言搜索、视觉问答、告警核验和自动报告,并针对开发与运行两侧的成本做优化。
开发侧新增 Build Vision Agent 技能(vss-build-vision-ai):开发者用一条提示词描述目标,技能从四种已验证的开发者配置(dense、alerts、lvs、search)中选取最接近的一项作为 Foundation,只计算并叠加所需服务差异,按需增删服务键,并把 Kafka、Redis、Elasticsearch 等共享角色收敛到单一实例;无法确定时只提一个结构化问题。产物为自包含构建目录(override.env、compose.yml、resolved.yml),不改动仓库原有部署树,并在写入前给出架构图供审查。
运行侧新增自适应 Efficient Video Sampling(EVS):逐块与前一帧做余弦相似度比较,丢弃未变化区域后再送入语言模型,并按 token 保留率对事件分批(约高于 70% 视为事件,低于约 30% 丢弃或冲刷)。
适用场景
据博客给出的演示,在双 GPU 的 RTX PRO 6000 Blackwell 主机上,该技能针对橙汁灌装线的溢流与溅洒场景,复用了检测器 GPU 运行 FP8 Cosmos 3 Nano,不到 30 分钟得到可预览的实时部署,包含搜索、告警核验与班次报告。自适应 EVS 适用于 VLM 读取大量帧但输出较短的场景,如密集描述、长视频摘要和告警核验。
性能数据与限制
博客称在 RTX PRO 6000 Blackwell 运行 Cosmos 3 Super FP8 时,自适应 EVS 使告警上下文化延迟降低 17%(1,021 ms 降至 844 ms),并发实时 VLM 流从 13 增至 19(+46%);60 分钟视频的摘要耗时约减半,VLM 输入 token 减少 80%。文中明确这些结果会随画面运动、分块长度和相似度阈值变化,建议在选取生产默认值前用代表性素材做基准测试。自适应 EVS 是在 RT-VLM 容器内部而非对远端端点生效,且为可选功能;对少量帧产生长输出的场景收益较小。
待核实事项
上述部署时长、延迟、并发与 token 数据均为官方博客所述,尚无独立复现;安装与配置步骤、默认值选择、安全边界(认证、TLS、限流、隔离网络)需按官方文档在实际环境中验证。文中还提到 10 月 1 日直播,属于来源当时的信息,不代表当前安排。
来源与核对说明
- NVIDIA 开发者官方博客 ↗https://developer.nvidia.com/blog/lower-the-cost-of-building-and-running-visual-ai-agents-with-nvidia-vss-blueprint-3-3/
本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。
这篇内容对你有帮助吗?
点赞人数由服务器记录,收藏保存在当前浏览器。
继续阅读
deepagents 0.7.28 修复 ContextHubBackend.glob 路径处理 →
Dify 1.17.1 版本更新:知识库错误修复、工作流交互与权限改进 →