模型参数不是硬盘

对大模型有一种很诱人的想象：它是巨型数据库，训练文件塞进参数就永远待在那里。相反的想象同样诱人：模型什么都不记，只学抽象规律。ICML 2026 一篇关于记忆容量的研究指向更混乱的中间地带——而且这个中间地带会随数据量动态变化。

混合载体，不是文件柜

参数不是一块硬盘：你往里存文件，存满就存不进去。它更像同时干好几件事的共享工作区：装着一些样本细节，装着从大量例子提炼出的可重用规律，也留着训练过程的统计痕迹。这几层并非泾渭分明，而是缠在同一组权重里。

所以「7B 参数 × 每参数 3.6 比特 = 记住了多少 GB 文件」会误导人。同一研究线上那个有名的「每参数比特数」，测量的是在严格定义下的非预期记忆容量——不是说每个权重都是留给你文件的迷你 SSD 插槽。

过了容量，死记让位给泛化

在 FineWeb 这类真实文本上，作者看到类似相变的过程。训练集小到容量装得下时，模型主要背样本细节——这条路降损失最快。数据超过容量之后，非预期记忆不再上升甚至开始下降，泛化则快速占比上升。背不完时，梯度下降会逼模型去抽取跨样本的共享模式。

因此记忆与泛化不是简单的对立。容量未满时，记忆主导、泛化稀薄；超过容量后，记忆让出空间，泛化变强，模型平均更有用。著名的双下降——测试损失先降、再升、再降——恰好出现在数据量逼近容量的临界附近，把旧谜题串回同一条转变线上。

为何 scaling 仍然说得通——以及还有什么没答案

这幅图景也有助解释：为何模型与数据同时变大时，Scaling Laws 仍常成立。参数变大，容量跟着变大——能在更大语料上先充分记忆，再过渡到更深的泛化。数据量与容量匹配，往往比「永远加更多数据」更有效率。

• 稀疏模型或混合专家（MoE）的每参数（或每活跃参数）容量，比稠密 GPT 式结构更高还是更低？
• 优化器、学习率调度、数据增强会不会改变有效容量？
• SFT、RLHF 这类对齐阶段，是擦掉一部分记忆，还是主要改写提取方式？

若有朝一日我们能精确控制记忆——保留通用规律、擦除敏感样本、选择哪些该牢记、哪些该遗忘——大模型的应用边界会被拉开。那会彻底解决数据隐私，还是带来现在还看不清的新挑战，仍是开放问题。眼下我们至少多了一把更清楚的尺：参数是混合介质，不是硬盘。