大模型的「事实」主要存在哪里？

注意力最常被人谈论。但每一层 Transformer 里还有第二步，讨论度低、重要性却不低：前馈网络（FFN）。若注意力是序列上的 token 互相谈话、交换信息，那前馈网络就是每个 token 关起门来，对自己的向量做深加工——这一步不做跨 token 混合。

扩张、弯曲、再压缩

典型的前馈网络会先把 token 向量扩张到更大尺寸，施加非线性，再压回原来宽度。原始 Transformer 用四倍扩张；现代 SwiGLU 模型比例各异，但大结构不变。非线性之所以必要，是因为纯线性层堆叠在数学上会坍缩成一次线性映射——中间若不「掰弯」，前馈网络就做不出比单次矩阵乘法更丰富的计算。

非线性函数本身也经历几代演进：原始 Transformer 用 ReLU，后来 GPT 与 BERT 换用 GELU，再后来 LLaMA、Mistral、PaLM 一代多用 SwiGLU。外层「扩张再压缩」没变，迭代的一直是中间那一步。

相当一部分「知识」住在这里

在稠密 Transformer 里，大部分参数其实住在前馈网络，不在注意力。可解释性研究发现，某些神经元与特定概念或事实强相关——埃菲尔铁塔、编程语言、过去式动词等。模型「知道巴黎是法国首都」，并不是数据库里的一句话，而是表现在特定层前馈网络的权重与激活模式里。

这种「记忆」性质带来有趣的推论：ROME（秩一模型编辑）这类方法，可以对特定前馈权重做一次有针对性的低秩修改，把「埃菲尔铁塔在巴黎」改成「在罗马」之类的关联，而不必完整重训。研究仍偏早期，但至少说明：我们对知识存放位置的理解，已到可以在有限场景下手编辑的程度。

MoE：很多专家，每次只叫醒几个

一些前沿模型把单一稠密前馈网络换成多个并行的「专家」，再由很小的路由网络决定每个 token 交给哪几个专家。Mixtral 8x7B 是清楚例子：每层八个专家，每个 token 只激活两个——总参数可以很大，但每个 token 实际动用的计算量增长慢得多。MoE 也带来路由与训练稳定性等工程挑战，却确实改变了「扩大参数却不让推理成本同比例膨胀」的思路。

残差流与归一化：不炫，但关键

没有残差连接与层归一化，极深网络几乎训不动。残差是把子块输出加回原向量，而不是覆盖——最初的输入嵌入因此始终有一条直达深层的加法通路。这套想法来自图像识别的残差网络（何恺明等，2015），Transformer 只是继承同一技巧。现代可解释性常把残差流想成高速公路：每个注意力头与前馈网络都从中读取，再把结果写回去。

归一化则把残差流上的数字拉回可控范围，避免爆炸或塌缩。两个现代预设值得记住：pre-norm（子块之前归一化，如 GPT-2 与多数开放模型）比原始 post-norm 更好训深网；许多开放模型再用更简单的 RMSNorm，只做缩放、不做移向零点——更便宜，经验上已拿到大部分收益。事实可能住在前馈权重里，但残差与归一化，才是深层堆叠得以存在的前提。