大模型心裏在想什麼，終於能「讀成字」了

在 Claude、GPT、Llama 等主流語言模型裏，一次前向計算的「工作記憶」以高維激活向量的形式藏在殘差流中。這些數字承載模型理解了什麼、預期下一個詞是什麼，有時也包括它沒說出口的考量。問題是：人類無法盯著上萬個浮點數就讀懂含義——好比拿到超級計算機內部的電流數據，卻沒有電路邏輯圖。

過去兩條路，都差一截

像稀疏自編碼器（SAE）這類無監督特徵工具，可以把激活拆成許多固定特徵——有幫助，但仍需人類再用日常語言二次解讀。有監督的激活描述則另一極端：必須依賴標註真值，適用範圍很窄。Anthropic 提出的自然語言自編碼器（NLA）走第三條路：無監督、直接，而且輸出本身就是自然語言。

一個翻譯官，一個反向翻譯官

NLA 由兩個基於大模型的模組組成。激活描述器（AV）把激活向量映射成一段文字解釋；激活重構器（AR）再把這段文字盡量映回原始激活。聯合訓練只優化一件事：重構誤差要小。過程中並沒有明確要求 AV「必須忠實、必須好讀」——但隨著訓練推進，解釋往往越來越能對應模型真實的內部狀態。

可以把 AV 想成把模型的「數字語言」譯成人類語言的翻譯官，AR 則是反向翻譯官。若來回翻譯後仍接近原始數字，中間那段文字就必須保住了某些真實資訊。因此 NLA 比較不像翻特徵詞典，而更像讀一則關於「模型當時在做什麼」的便條。

先預熱，再強化學習

若直接把目標模型權重複製給 AV 與 AR，訓練極不穩定：AV 從未把激活當輸入，容易輸出亂碼。研究者先用「激活—摘要」對做監督預熱，再進入強化學習：AV 生成解釋，AR 學習重構，重構越好 AV 獎勵越高，並用流暢度懲罰防止文字崩壞。方差解釋率（FVE）會從預熱後的中等水準，升到相當不錯的重構效果。

對實驗室之外的讀者意味著什麼

NLA 並不會讓黑盒瞬間透明，但它改變了接口：除了瀏覽稀疏特徵，你還能拿到一段關於激活的文字素描，有時甚至能透過改寫那段文字來干預。對產品與安全團隊來說，這既是技術進展，也是文化轉變——可解釋性開始像「閱讀並壓力測試解釋」，而不只是替匿名維度打分。接下來更關鍵的問題是：當模型嘴上不說時，這些解釋能抓到什麼。