提交智能体收藏0
技术动态

AI 提升工作产出,却未必提升新人专业判断力

Google Research 与 NBER 合作开展了一项针对专利律师的三个月随机对照试验:日常使用 AI 能普遍提升起草质量,但在移除 AI 后,只有资深律师的判断力得到增强,初级律师的平均技能没有提升,得分反而两极分化。

Google Research 于 2026 年 10 月 7 日发布博客,介绍其与国家经济研究局(NBER)合作的论文《Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting》。研究在 11 家知识产权律所的 133 名专利律师中随机分配一款当时尚未发布的 Google Labs AI 专利写作助手(现已并入 Gemini Notebook)的使用权限:每家律所约三分之二律师为实验组,其余为对照组,对照组接受过 AI 使用培训,但在三个月研究期内无法使用该工具。

在能够使用 AI 时 第 10 天和第 90 天,参与者分别根据模拟发明人材料起草专利,由第三方专利专家从可执行性、准确性、策略性模糊、完整性和清晰度五个维度评分。第 10 天 AI 使用权使起草得分提高 0.34 个标准差,约相当于百分位排名上升 10 位;第 90 天提升为 0.38 个标准差,约 11 个百分点。提升来自差评减少与良好评价增多,卓越评价数量没有变化。初级律师同时节省了时间:在 10 天任务上比对照组平均 124 分钟快 18 分钟。

移除 AI 之后 第 90 天增加了禁止使用 AI 的“红线修改”任务(redlining),要求参与者手动标出并修正含实质性及文体错误的模拟专利,用于衡量无辅助判断力。实验组在该任务上总体领先 0.32 个标准差,但这一效果完全来自资深律师(7 年以上经验,领先 0.45 个标准差),初级律师平均没有可辨识的提升,得分分布反而向两端分化。

定性观察显示,初级律师倾向从上到下逐段处理、在低风险段落耗时间、做表层同义替换,发现问题时只写评论而不实际修改;资深律师则跳过低价值文字、重建权利要求,并把 AI 输出当作“逻辑审计器”,借此厘清结构性修改的理由。

作者强调,提升当下产出与建立长期专业判断是两个不同目标,对初级从业者甚至可能相互冲突。研究局限包括样本量有限、仅观察三个月,且模型能力与法律领域 AI 渗透率的快速变化可能影响重跑结果。该文为预印本摘要性质的博客介绍,结论尚需更多研究验证。

来源与核对说明

  1. Google Research 官方博客 ↗https://research.google/blog/does-better-work-always-mean-better-workers/

本文经 AI 整理及独立自动校对,未做运行验证;自动校对仍可能遗漏问题,请以原始资料为准。

这篇内容对你有帮助吗?

点赞人数由服务器记录,收藏保存在当前浏览器。

继续阅读

OlmoEarth Studio 支持导出定制化地球观测嵌入向量 →

BenchMIRT:用多维项目反应理论拆解 LLM 基准测试到底在测什么 →

NeoMME:单塔多语言多模态编码器及其文档检索版本 →

ProvenanceGuard:为 MCP 智能体核查结论的来源归属 →