一张由字符拼成的人脸,鼻子只有一个 ^。提示里没有“鼻子”这个词。在 Anthropic 用 Sonnet 4.5 展示的案例中,Jacobian Lens 却在这个位置的中间层读数里显示了 nose。
我们平时就能向模型提问,再读它对人脸的解释。这个案例多出了另一个观察位置:文字还没成为回答,研究者已经能在网络内部找到与它有关的表征。

但从“读到了一个词”到“知道模型为什么这么回答”,仍有很长的距离。词语可能是线索,也可能被我们解释过头。值得沿着 Jacobian Lens 论文追问的是:这套读数怎样产生,又要增加什么证据,才能把它与模型的行动联系起来?
回答出现以前,还有一次计算
聊天界面容易让人把推理想象成一条文字序列:先写步骤,再得出答案。可是,生成其中任何一个 token,都要经过网络各层的计算。生成的文字随后进入上下文,供后面的计算使用;实际系统也可能缓存并复用已有位置的状态。
所以,思维链既是观察材料,也可能是计算材料。它能保存中间结果,却没有因此自动成为一份完整的运行记录。
这不是单凭直觉提出的怀疑。2023 年的思维链忠实性研究直接修改中间推理,发现不同模型、任务对这些文字的依赖程度并不相同。2025 年的后续研究则发现,在所测的选择题和提示线索设置中,模型可能用了线索,却没有在推理文字里承认。
这些研究并不意味着思维链没有用。它们让问题更明确了:如果只检查模型愿意写下的文字,我们会漏掉什么?
J-Lens 试图增加一条内部观察通道。它读取中间状态,而不是要求模型重新解释自己。不过,它也要把数值变成我们能辨认的词,因此依然需要一套测量方法。
把中间状态送到合适的坐标里
Transformer 在每个位置维护一组高维数值,通常称为残差流。各层从中读取信息,再写回计算结果。到了最后一层,模型的输出头才把状态变成词表分数。
最直接的观察方法叫 Logit Lens:提前拿同一个输出头读取中间状态。问题在于,中间层还要经历后续变换,它使用的表示方式未必已经适合最终输出头。读不出有意义的词,有时是读取方式不合适,不能直接解释成那里没有信息。
Jacobian Lens 在两者之间加了一张映射。Jacobian 描述一个局部问题:某处状态改变一点,剩余网络会把这个变化传到哪里?作者在许多文本、来源位置,以及当前和后续目标位置上求平均,为每层得到一张通向最终层的线性映射。读取时,先应用映射,再经过模型原本的归一化和输出头。

参考实现可以帮助区分两个阶段。拟合要访问模型内部并计算梯度;读取已有透镜则是对状态应用映射。仓库说明,论文的透镜使用 1,000 段、每段 128 token 的文本拟合,并提醒这只是未经效率优化的参考代码。这个规模说明实验怎样做,不是最低硬件配置或通用质量承诺。
平均这一步尤其重要。单个上下文中的影响,可能只是当前任务的偶然关系。跨上下文汇总,才是在寻找一种较一般的“有机会被说出来”的倾向。它仍然是近似,不等于把后面所有计算精确地重演了一遍。
因此,读数排名不能当作“模型有多少概率在想这个词”。即便经过 softmax,它首先也是透镜对词表的读数,不是经过校准的心理状态概率。
从一个读数,走到一次干预
在人脸案例里读到 nose,说明工具找到了一个有意义的候选方向。但这还没有排除另一种可能:这个方向可以被工具读出来,却不是模型随后回答时真正依赖的部分。
论文的运动实验往前走了一步。作者让模型想一种运动,再用一个词报告。在展示的例子里,读数与回答都指向 Soccer。随后,作者沿相关透镜方向减去它的投影,并加入等幅的 Rugby 投影,继续运行网络;模型报告的运动随之变成了 Rugby。

右上图和右下图回答的是不同的问题。相关性图问:透镜排在前面的候选,是否也更可能成为模型的输出?交换图则问:改变相应方向,能否让原本排名靠后的目标往前移动?后者加入了主动干预,比一次读数吻合更接近因果证据。
不过,它支持的是特定方向在特定设置下的作用。它没有说明“足球”在网络里的全部知识只占这一根向量,也没有证明任意编辑都能按预期工作。要判断一个解释是否可靠,我们还会关心干预失败时发生了什么,换一个位置、强度或对照方向,结果是否仍然成立。
这也是我们认为最值得保留的研究习惯:不要让词语的可读性替代证据的强度。一个熟悉的名词会让人很快产生“理解了”的感觉,实验还需要继续。
可读的一部分,怎样成为“工作空间”
论文把一组可言说的表征称为 J-space,并考察它们能否被调制、参与中间推理、被不同后续计算使用。这是“全局工作空间”比较的出发点:信息不只是被存着,还能被多种操作利用。
这里的“空间”容易产生误会。透镜为词表 token 提供了许多方向,它们并不相互正交,也不是一套唯一的概念坐标。若不限制参与的方向数量,一个状态会有许多不同的分解方式。作者因此用稀疏、非负组合来研究其中一部分内容,而不是把整个残差流圈成一块叫作“意识”的区域。
这也决定了怎样读那些关于容量和方差的数字。保留多少方向、测的是激活还是概念向量、是否扣除了随机对照,都会改变数字的含义。不能把某组分解结果翻译成“模型只有这么一点信息有意义”。
当前工具还有更直接的限制:单个 token 未必能命名一个复杂概念;几个词同时出现,也没有告诉我们它们如何组成关系。一份读数里即使有“蜘蛛”“腿”和“八”,我们仍要检验它表达的是哪一种联系。没有读到一个词,也不能反过来证明相关信息不存在。
对产品团队来说,这种区分有实际意义。外部行为测试回答“做成了什么”,推理文字提供可以检查的过程线索,内部工具则帮助寻找并干预候选机制。三种材料应当互相约束:如果读数看起来很合理,行为却没有随之改变,解释就需要重新考虑;如果最终行为有问题,也不能因透镜没有出现可疑词语就宣布安全。
J-Lens 有价值的地方,是把一个笼统的问题拆成可以逐步检验的问题。我们可以问某个方向在哪里出现、怎样被后续计算使用、改动以后发生什么。人脸案例中的那个词,因而更像一条值得追下去的线索。
原稿编辑日期为 2026 年 9 月 20 日。本文于 11 月 5 日依据当时可见的论文与参考实现修订,并补绘图表;显示日期不代表历史公开上线时间。


