卓克：“Claude长出意识”的新闻，怎么理解？



最近，Anthropic的一篇研究被各媒体传播，题目大都类似于“Claude长出了意识”“Anthropic切开了Claude的大脑发现了意识空间”“AI有了内心独白和主观体验”等等。

今天，我们请得到App《科技参考5》主理人卓克老师，来帮你解读这个新闻。理解这篇新闻，非常有助于我们了解当前模型的细节，但更重要的是，它能帮我们区分：什么是模型内部真实存在的中间表征，什么是媒体和公众脑补出来的“意识故事”。

Anthropic这项研究，真正突破的不是证明AI有了灵魂，而是提供了一种观察模型黑箱的新工具：它让我们看到，模型在给出答案前，哪些概念可能参与了推理，又怎样影响最终输出。AI确实越来越像会思考，但越是这样，我们越需要把热闹的想象，拉回冷静的理解。
作者：卓克
来源：得到App《科技参考5》
01

Claude有意识了？

这篇Anthropic的文章题目，如果直接翻译就叫做《语言模型中的全局工作空间》，但要明白这个空间是怎么看到的，那就要细说了。
媒体解读的各种文章之所以都被放在头条，还都很抓眼球，是因为让人以为语言模型有了意识，有了灵魂。
Anthropic在文章中给了很多鲜活的例子，比如，让他抄写一句话，是关于绘画的句子，然后一边抄，一边让他心里想着“橘子”。然后就会观察到在他们定义的“J-空间”里发现了“橘子、水果”这些概念，同时这个空间里还有“思考、想象”这些关键词。
还有个例子是，问Claude：“会织网的动物有几条腿？”他的回答就是“8”，没有出现其他信息。但在那个J-空间里却出现了“蜘蛛”这个词。所以咱们旁观者一看，这不就是有脑子的证据吗？心里有很多中间步骤要说没说啊。
而且工程师还通过特定的操作，把J-空间里的“蜘蛛”替换成了“蚂蚁”，然后再观察输出结果。Claude再回答“会织网的动物有几条腿？6条”。也就是说，这个中间步骤的心智是真实存在的，并且能够直接影响推理的结果。
然后还有这样的例子，被说得很神，就是工程师让Claude在接下来不要想某一个特定的概念。结果Claude在思考过程中，J-空间里那个概念是一直存在的。虽然强度比你命令他专门去想这个概念的时候弱，但也远远高于你不提这个要求时，这个概念的强度。
而且Claude的J-空间里还冒出了“完蛋了”“失败”这样的词。媒体的解读是，他没控制住，他还非得想那个词，结果他自己骂了自己一句。因为这个场景平时人类也在做，比如越告诉他别在某个步骤犯错，结果事到临头还是掉坑里去了，然后自己骂自己一句。接下来就是对Claude意识存在、灵魂存在的延伸讨论了。
02

所有大模型都有意识？

而实际上，Anthropic这篇论文里，虽然提到了意识，但往往不是单独出现的，而是以“conscious access”这个词出现的。
按照文章的内容，conscious（意识）其实很不适合翻译为“人的意识”，更应该翻译成“表征”，“数学表征”的那个“表征”——在数学上你可以理解为是向量的一个投影。
access更应该翻译成“可调用/可报告的”。
于是，整个词“conscious access”应该翻译成“可调用的向量投影”或者“可调用的数学表征”，而不能再往“感觉、体验、道德、意识”之类的方向去理解了。
很多同学对“大语言模型表现得很像有意识的样子”这件事其实很熟。
比如，我们曾经介绍了一个OpenAI的实验。
当时是用GPT-4去解读GPT-2的各层神经元，比如，第17层的第3218号神经元，学会的是“一句话表达完了”这个状态。而第21层的第2932号神经元，学会的是“加拿大”这个概念。同时，加拿大人、国家、多伦多、金士顿这些概念对于那个神经元来说也是激活的。神经元对“加拿大”的理解，从GPT-2那个远古时期以来就不是死板的。
而且我们也在3年前就知道，大语言模型在输出结果时，有点像文字接龙的游戏。就是在上一句话最后接哪个词，吐出那个字之前，其实是有一个“next token输出概率榜”的，这个概率榜单一大长串。
当大语言模型开始输出答案，输出的前3个字假如是“加拿大……”的话，下一个词的概率榜你一看，什么多伦多、首都、法语、英语、政府、贸易等等词全都在榜单里，都排着队等着被选出来成为下一个词跳出来呢。
作为一个科技爱好者，如果咱们只看神经元所代表的含义，只看next token概率榜单上的那些词——其实和咱们要解读的这篇Anthropic的论文里举的例子，就是那些跟意识高度关联的、让人忍不住解读成“模型有意识了，他的思考有灵魂”，其实是高度类似的。
所以，你要真的延伸到意识、灵魂，你也应该承认，有灵魂的可不止Claude。GPT、Gemini、智谱、DeepSeek、豆包一样都有灵魂，而且是从GPT-2起就有灵魂了。
灵魂不分版本号高低。所有大语言模型都有“可调用的表征（意识）”。
03

正常推理是怎么工作的？

Anthropic是怎么论述这件事的呢？
要弄懂，我们先要了解：当你问了大语言模型一个问题，他是怎么计算的或者怎么推理的，然后你才能理解J-空间是什么，那些所谓的意识又是什么。
咱们现在假设已经有一个训练完备的大模型了，也就是模型里Q、K、V矩阵的参数，都在5个月高强度的预训练里，分配到了正确的参数值，上万亿个值。然后你输入了一个问题给大语言模型，大模型就开始对你说的这句话进行加工了。
具体的加工有两部分作贡献，一部分叫做自注意力机制，我们管它叫Attention动作，另一部分是多层感知，我们管它叫MLP动作。两个动作共同作用之后，你就能看到让你豁然开朗的答案了。
Attention动作会把它之前看到过的信息做搬运。那它最初看到什么呢？只有你那个问题。然后看到的是，在你那个问题的最后多加了一个字的内容。接着看到的信息就是，你那个问题之后多加两个字的内容，就是这样依次顺下来的。
Attention的操作就是要判断，应该把前文我看到的哪个位置的信息搬到当前位置。这就有点像我们阅读一段文字，注意力总会聚焦在之前某一个词上，然后再从这个词出发，继续说下面的话。
Attention就是不断地从前文查询值得注意的部分，然后把这部分抓回来，加回到当前信息流中，对之后下一个字的预测做一些方向上的微调。
说完第一个动作，我们再看第二个动作MLP（多层感知）。
它不太负责搬运其他位置的信息，它更像是一个模式识别器。它读取前文信息之后判断，这些内容是否触发了某一些模型里已经学会的模块化的概念。比如说，它识别出这是一个多选的判断，或者它认为这是一个语言学领域的知识，然后就会激活相关的方向，让信息流向它判断的那个模式的知识领域。
然后在那个知识领域里，注意力机制继续发挥作用，判断在这个新的领域里的词，哪个和前文里的内容高度相关，然后把这个词加入当前信息流。
所以，两个机制叠加在一起，就从大语言模型里一点一点地流出了我们需要的答案。
04

第三种作用力：J-透镜

而Anthropic说的J-空间里的东西是怎么看到的呢？
就是我们刚刚说的，正常计算推理时的那个信息流（residual stream），需要经过两种不同的作用，然后输出，那就是我们得到的结果。
现在我们对信息流在那两种作用力下输出的结果已经不感兴趣了，我们想看看在第三种作用力下，信息流会变成什么样子。
方法是什么呢？就是把信息流乘以雅可比矩阵（Jacobian Matrix，缩写J），这个J就是J-空间的J了。把信息流乘以雅可比矩阵，这个算符就被定义成“J-透镜”，也就是可以看到J-空间里的内容的显微镜。
学过雅克比矩阵的同学知道，这个矩阵经常被用来描述，对一个系统做了一个扰动后，这个扰动对多级传动结构的最终输出产生什么影响。
具体来说，比如论文里那个问题“会织网的动物有几条腿”，其中答案里的“8”这是一个token，它肯定也会出现在输出结果里。8既是我们想要的答案，也代表了信息流多种流动方向的其中一个方向。
工程师们用J-透镜去观察，就相当于是在考察：在第n层神经网络里，那个还处于半成品、尚未完成全部思考过程的、包含了相当多种流动方向可能性的信息流，具体经过了哪些个方向的后续网络之后，最终会为“8”这个结果的涌现贡献自己的力量呢？
这个计算其实是一种反向计算，知道结果，再去反推前置条件。雅可比矩阵就是反推的计算动作，经过它的计算后就能知道，神经网络的中间层里的某一些向量，在“蜘蛛”这个概念所指的方向上，一起作出了贡献。
于是，再经过一些平均化的处理，工程师就认为，J-透镜从中间层里那些可以言说的向量中，至少有一些一起贡献了“蜘蛛”这个概念。
所以，第三种操作并不是对信息流做任何扰动，它是从相反的方向去看哪些因素为最终的信息流向贡献了力量。
理解这个过程后你也会发现，如果全量地使用J-透镜看一个问题的中间过程都有哪些可以言说的因素，那个计算量是超级大的。可能是一个推理的问题得到答案所需要的计算量的几百、上千、上万倍。
05

J-透镜的局限与启示

那么，Anthropic为什么要搞出这么一个奇奇怪怪的J-透镜呢？
主要原因就是要打破“模型是个黑匣子”的禁锢。
模型有的时候就会输出一些惊人的内容或者错得离谱的、违法的内容，那想修正它，但它是一个浑然一体的、复杂的黑匣子，你根本不知道一万多亿的参数值哪几个参与了其中的犯罪，那各自的责任是怎么样的？比重又是怎么样的呢？
于是，为了理解模型输出的结果，才想尽办法设计观察手段。J-透镜就是在这个背景下设计出来的。
而由此带来另一个问题就是“解读”。实际上，J-透镜看到的都是一些关键词，而并没有看到这些关键词对结果是如何贡献的。所以，如果一个人只是去看Anthropic给出的案例里的关键词，然后就自己脑补出一些情节去推断，那这些中间步骤的关键词是怎么推导出最终输出结果的呢？
那“会织网的动物有几条腿”这种问题还真的是个特例，解读很可能是对的。但对于其他的问题，解读就很有可能是错的了，因为很多关键词给它们堆在一起，中间再加上一些逻辑，你正着解读可以，反着解读也是可以的。
你真的可以拍胸脯解读的那些内容，得伴随着验证过程。比如，Anthropic给出的例子中，工程师把J-空间投影的那个概念，从蜘蛛换成蚂蚁后，你一看输出结果一下从8变成6了，这就叫验证过程。
所以，大概其“蜘蛛”就是中间过程，他先想到了这种节肢动物。就是因为J-空间里的内容传递到最终结果了，这个作用是实实在在的。
如果真的要延伸，我们可以对比一下人类的思考。
人类没有说出口的话，其实也分几种。有一种，我们就可以称为“内语言”，比如看比赛的时候心里默念“阿根廷不要被淘汰”，其实这已经非常接近输出语言了，只是没有发出声音而已，所以这种内语言并不能对标J-透镜看到的内容。
第二种没有说出口的话，比如，看到一个蒙面客蹲在不远处一辆摩托车旁边，这时你是没有说什么话的，也没有心里默念什么。但第二天警察找你去调查，问你昨天晚上看到了什么、怎么想的。
你就跟警察说：“感觉这个人在撬摩托车锁呢。”而这个时候，警察的问话，就相当于J-透镜，你重新组织的语言，就是J-空间里的内容。
也可能有很多人就是出于这样的对照，才把Anthropic这个研究解读得很玄、很科幻吧。

第三届老板节倒计时10天！


AI时代最重要的事——让人看见你。AI能写文案、出脚本，能力越来越强。反而用户越来越不相信内容本身了——他们更愿意相信的，是一个有判断、有真实体感、愿意为推荐负责的人。


所以老板们，下半年别光埋头做内容了，先让人看见你。


📍7.25，第三届老板节，来看怎么在AI时代让人看见你。


线上直播全程开放，现在就扫描海报二维码或点击下方卡片预约直播👇

👆👆tips：敬爱的读者朋友，由于微信的推送规则，即使您关注了我们，可能也常常收不到推送，记得点击“罗辑思维”名片，设为星标⭐️，文章每天会自动推送哦！


点击“阅读原文”，订阅《科技参考5》

文章原文