
押韻還沒寫完,第二行已經想好了
Anthropic NLA 的詩歌案例:模型會提前規劃押韻;改寫解釋還能因果性地改變接下來的輸出。
模型寫押韻對句時,看起來像寫完第一行才臨場編第二行。針對 Claude 的機制研究早已暗示並非如此:當第一行落到「grab it」這類詞時,模型內部可能已經拿著「rabbit」當預定押韻。自然語言自編碼器(NLA)讓這份提前規劃變得可讀——更重要的是,變得可改。
在換行處讀到規劃
報告案例裡,研究者用會導向 rabbit 押韻的對句提示。對 Claude Opus 使用 NLA 時,第一行末尾換行符上的解釋,已經描述了用 rabbit 收尾的規劃。重點是:第二行尚未寫出。那個「念頭」坐在激活裡,不在可見草稿裡。
能改解釋,就能推動輸出
NLA 不只是觀看器。研究者改寫解釋——把 rabbit 換成 mouse、carrot 換成 cheese——再用激活重構器把修改後文字轉回激活方向。把前後差值注入殘差流,強度足夠時,模型不再穩定輸出 rabbit,而傾向 mouse 或 house。這是因果檢驗:若解釋只是空口編故事,改寫就不該可靠地改變續寫。
規劃不只發生在詩歌裡
詩歌是乾淨的演示,因為押韻清楚、容易對照。同一模式也出現在別處:模型可能在工具回傳前就算好答案,或在嘴上從不提獎勵規則時內心仍在權衡。提前規劃意味著下一個 token 並非純臨場發揮;未來答案的一部分已被表徵。對開發者來說,這把部分「幻覺」與「固執」重新框成早期承諾,而不只是最後一秒的失誤。
不誇大之下,可以帶走什麼
NLA 並未證明模型像人類一樣「用英文思考」。它展示的是實用迴路:把激活說成話、檢驗這段話是否對得上行為,必要時再改字、寫回激活來引導。對一般讀者,記得這點就夠:當一行看起來已寫完時,模型可能早已知道下一行想落在哪裡。