AgentHands：为 XR 空间对话生成同步手势的智能体原型

用途与变化

Google Research 于 2026 年 8 月 25 日介绍 AgentHands，这是一个基于大模型的 XR 研究原型，目标是在 Android XR 等沉浸式环境中让对话智能体不只“说”，还能用手势把回答锚定到用户身边的物理空间。相较文本界面和二维屏幕上的方框标注，它试图补上语音描述与真实位置之间的对应关系。

系统构成

• 环境感知：通过眼动注视与场景重建，让用户快速“标记”兰花、笔记本电脑等物体，形成带三维包围盒的空间注册表。
• 手势事件库：按语义分为指称类（指向）、象似类（描摹动作或形状）和表达类（社交与情绪线索）。
• 手势嵌入推理：后端大模型在回复中内联生成 GestureEvent，每个事件绑定特定触发词，并按手势分类维度编码动作原语。
• XR 同步执行：头显端本地解析器结合词级时间戳，让手势与语音朗读同步播放。

适用场景

来源演示了兰花养护指导（指出气生根位置与浇水步骤）、3D 打印机操作（演示旋钮“旋转并按下”顺序）和健康习惯提醒（结合视觉特效的警示手势）。研究还做了组内用户实验（N=12），对比仅语音基线，在定位物体、理解复杂动作和警示显著性等指标上报告了显著差异（p<0.05）。

限制与待核实

这是研究原型和论文成果，并非可下载产品；文中未给出价格、版本或部署方式。用户研究样本量较小，且语音内容由研究者脚本化控制，真实开放环境下的泛化能力、长期使用效果与隐私影响均未说明。