Agent 越能干，你越容易放松警惕

不久前，AI 助手基本上就是一个大语言模型：你问一句，它答一段，互动到此为止。Tomasev 划出一条更清楚的界线：智能体会观察处境、选择行动，并在环境里真正执行。模型仍可能在拟定方案，但身上已系上「安全带」——工具、权限，以及会碰到真实世界的步骤。

这一转变会改写你的角色。你仍用自然语言与系统对话，但更像决策者：审核、批准，再让它订票或传讯，自己去做别的事。产品最「神奇」的时刻，往往正是你不再盯着每一步的时候——风险也在此刻悄悄变大。

失败率，会随复杂度上升

Tomasev 说得很直白：智能体能做的事，并不保证每一次都做对。像人一样，每个行动都有失败率；步骤串得越长，预期失败率往往越高。错误可以很显眼——订错餐厅——也可能很隐蔽，藏在你只扫过一眼的长信里。

这正是自动化偏差的入口。当智能体连续做对几次，你开始不核对就信任下一次；省略验证、漏掉关键细节，把「没出事」当成「一定安全」。Tomasev 要说的不是「永远别自动化」，而是：留在流程里只有在你真正保持警觉时才有用。

信任要赢来——但仍不该盲目

Fry 提醒：我们仍活在语言模型会幻觉的世界里，要把真实任务交给智能体，其实是很高的要求。Tomasev 的回应很干脆：尝试理所当然，但信任必须赢来。一再不可靠的，当然不该信；大多数时候可靠的，也不该盲目信——你仍需要办法核对它做了什么。

• 把「批准」当成真正的关卡，而不是下意识按一下「确定」。
• 把可撤销的杂务，与花钱、难以反转的行动分开看待。
• 预期一定程度的幻觉；把流程设计成：偶发错误也不至于拖垮整件事。

放手时，该盯住什么

访谈里的筹备婚礼例子，把差别讲得很具体。聊天模型可以列出餐饮与场地；邮件往来仍得你自己处理。有 Gmail 权限的智能体能起草并寄出——除非你先发现收件人错了。效益是真的；在敏感步骤离开你的账号前先确认，同样必要。

Tomasev 也强调：智能体擅长串联多步任务——而正是这类路径最需要人工批准，因为场景敏感、也更容易出错。编码智能体之所以热门，逻辑类似：许多工作可转成软件，但创意判断与结果核对，仍需要人参与。

实务上的结论很简单：智能体把你从「提问与阅读」推向「授权与核对」。它们越常成功，你越该认真设计那些仍要亲自看一眼的时刻。信任随证据累积——而不是寄望下一个复杂任务会奇迹般没有风险。