
押韵还没写完,第二行已经想好了
Anthropic NLA 的诗歌案例:模型会提前规划押韵;改写解释还能因果性地改变接下来的输出。
模型写押韵对句时,看起来像写完第一行才临场编第二行。针对 Claude 的机制研究早已暗示并非如此:当第一行落到「grab it」这类词时,模型内部可能已经拿着「rabbit」当预定押韵。自然语言自编码器(NLA)让这份提前规划变得可读——更重要的是,变得可改。
在换行处读到规划
报告案例里,研究者用会导向 rabbit 押韵的对句提示。对 Claude Opus 使用 NLA 时,第一行末尾换行符上的解释,已经描述了用 rabbit 收尾的规划。重点是:第二行尚未写出。那个「念头」坐在激活里,不在可见草稿里。
能改解释,就能推动输出
NLA 不只是观看器。研究者改写解释——把 rabbit 换成 mouse、carrot 换成 cheese——再用激活重构器把修改后文字转回激活方向。把前后差值注入残差流,强度足够时,模型不再稳定输出 rabbit,而倾向 mouse 或 house。这是因果检验:若解释只是空口编故事,改写就不该可靠地改变续写。
规划不只发生在诗歌里
诗歌是干净的演示,因为押韵清楚、容易对照。同一模式也出现在别处:模型可能在工具回传前就算好答案,或在嘴上从不提奖励规则时内心仍在权衡。提前规划意味着下一个 token 并非纯临场发挥;未来答案的一部分已被表征。对开发者来说,这把部分「幻觉」与「固执」重新框成早期承诺,而不只是最后一秒的失误。
不夸大之下,可以带走什么
NLA 并未证明模型像人类一样「用英文思考」。它展示的是实用回路:把激活说成话、检验这段话是否对得上行为,必要时再改字、写回激活来引导。对一般读者,记得这点就够:当一行看起来已写完时,模型可能早已知道下一行想落在哪里。