-- 关于语言,关于LLM,这是一本小说!
完整目录
序言 一个天真的问题
AI知道它在胡说八道吗?
第一部 问题的发现
从AI的困境说起
第1章 当AI写错了,它知道吗?
思维链的美好承诺与残酷现实
第2章 你能按下"停止思考"按钮吗?
生成的本质与干预的不可能
第3章 错误为什么会一路狂奔?
缺失的自我监控与链式崩溃
第二部 本质的诊断
统计与结构的鸿沟
第4章 AI到底在做什么?
从词频统计到注意力机制
第5章 被遗忘的结构
匹配与扩展:认知的真正运算
第6章 两种智能,一道鸿沟
统计模型与结构模型的本质区别
第三部 理论的推导
从第一性原理出发
第7章 语言的秘密
为什么我们只能一个词接一个词地说话
第8章 影子背后的立体世界
认知结构的必然存在
第9章 失落的翻译官
中间层:从统计到结构的唯一桥梁
第四部 架构的整合
三层认知模型
第10章 快与慢之间
系统1、系统2,与它们之间的空白
第11章 全局工作空间
中间层如何协调、整合与广播
第12章 完整的认知机器
从直觉到推理,从结构到语言
第五部 证据的整合
多学科的暗示与验证
第13章 大脑里的"指挥中心"
神经科学如何发现中间层
第14章 心理学家的未竟之问
双系统理论的漏洞与暗示
第15章 语言学家看见的"投影"
从概念到词语的漫长旅程
第16章 AI失败的必然性
没有中间层,幻觉无可避免
第六部 元反思
知识考古与科学哲学
第17章 为什么没人看见这个?
学科的巴别塔与认知的盲点
第18章 智能的"原子"在哪里?
寻找万有智能基元
第19章 通向AGI的唯一道路
从经验拟合到理性建构
结语 认知如何研究认知
元认知的觉醒与未完成的形式化
附录
附录A 关键概念的数学描述
附录B 重要研究文献导读
附录C 本理论的可证伪预测
序言 一个天真的问题
AI知道它在胡说八道吗?
故事要退回到2023年的那个冬天。那时候,ChatGPT刚刚震惊了世界,人们正沉浸在一种近乎宗教般的狂热中,争论着硅基生命是否已经觉醒。
那天晚上,我正在书房里整理关于神经科学的文献,我9岁的儿子跑进来,手里拿着平板电脑。他正在用那个著名的AI助手帮她做语文作业—— 一道关于成语解释的题目。
“爸爸,”他困惑地皱着眉头,“机器人撒谎了。”
我看了一眼屏幕。他问AI:“‘指鹿为马’是什么意思?”
AI洋洋洒洒地写道:“指鹿为马是一个成语,源自《三国演义》。诸葛亮为了测试手下的忠诚度,牵来一只鹿说是马,那是为了展示他的智慧……”
我笑了,准备像个典型的技术专家那样向他解释:这叫“幻觉”,是大语言模型在概率预测时的统计偏差,它把秦朝的赵高和三国的诸葛亮在向量空间里搞混了。
但我还没开口,儿子问了一个让我愣住的问题:
“爸爸,它是故意骗我的吗?就像我上次没刷牙却告诉你刷了一样?”
我停住了。
“不,”我想了想说,“它不是故意的。它只是不知道它不知道。”
“那它如果不知道,”儿子追问道,“为什么它说话的语气,看起来像它非常确定?”
这一刻,空气凝固了。
孩子的直觉像手术刀一样,精准地切开了所有复杂的数学包装,露出了那个被整个科技界刻意回避的核心:
如果在它的“脑子”里没有真理和谎言的区别,那它到底在做什么?
我把平板电脑放在一边,用手在台灯投射的墙壁上做了一个“手影戏”。
“你看墙上,”我把手摆成一只狗的样子,“这是什么?”
“是小狗!”他开心地说。
“但这真的是狗吗?”我问,“它会叫吗?它有骨头吗?如果我把手拿开,影子还能自己跑吗?”
“当然不能,”他看着我的手,“那是影子的假象。手才是真的。”
那一刻,整本书的架构在我脑海中轰然成型。
我们现在的AI,正如这个影子。它看起来像智能,说话像智能,甚至在某些角度比人类更像人类。但它只是人类认知在语言这个二维平面上的投影。
它没有“手”(认知结构)。它没有“骨头”(逻辑支撑)。最重要的是,它没有那个决定做什么手势的“意图”。
当你问它问题时,它不是在思考答案,它是在根据过去见过的无数影子,拼凑出一个最像影子的形状给你看。它不在乎那是赵高还是诸葛亮,就像墙上的影子不在乎它是狗还是狼,它只在乎轮廓像不像。
我写这本书,不是为了批评AI,我也没兴趣去争论AI到底能不能通过图灵测试。
事实上,我并没有提出任何新的理论。在这本书里,我只是一个整理者。
我把神经科学家在fMRI扫描仪里看到的“手”,心理学家在行为实验中测出的“骨头”,语言学家在语法树里发现的“关节”,以及AI工程师们面对的“影子”,全部放在了一张桌子上。
你会发现,这些来自不同领域的拼图,惊人地吻合。
前人已经把所有的答案都写好了,只是他们用的是不同的语言。神经科学家叫它“前额叶-顶叶网络”,心理学家叫它“系统2”或“工作记忆”,语言学家叫它“深层结构”。
我不在乎你怎么称呼它。我也不在乎通过什么技术路径实现它——是硅基、碳基,还是生物神经网络。
我只想指出一个简单的、不需要任何数学公式就能明白的事实:
没有物体,就不可能有影子。 没有结构,就不可能有智能。
如果你想通过把影子画得更清晰(增加参数、扩大算力)来创造生命,那你注定会失望。因为无论分辨率多高的影子,都不会在关灯后继续思考。
这是一本关于“手”的书。
当科技界都在为墙上越来越逼真的影子欢呼或恐惧时,我想带你回头,去看看那只制造影子的手。
毕竟,正如我儿子那天晚上说的:
“爸爸,影子虽然好玩,但它永远不知道自己在演什么,对吗?”
是的,它不知道。
但你知道。
这就是本书的全部。
第1章 当AI写错了,它知道吗?
A层:开场
2023年秋天,我在测试最新版本的ChatGPT时,给它出了一道小学数学题:
"小明有5个苹果,给了小红2个,又买了3个梨。他现在有多少个水果?"
ChatGPT很"认真"地回答:
"让我一步步思考:
第一步:小明最初有5个苹果
第二步:给了小红2个苹果,所以剩下5-2=3个苹果
第三步:他买了3个梨,所以现在有3+3=6个苹果
答案:小明现在有6个苹果。"
等等,梨怎么变成了苹果?
更有趣的事情在后面。当我追问"你确定吗?检查一下第三步",它立刻"恍然大悟":
"非常抱歉!我在第三步犯了一个错误。梨和苹果是不同的水果。让我重新计算:
小明有3个苹果和3个梨,总共6个水果。"
这个简单的交互让我陷入了一个奇怪的困惑:
AI"知道"它错了吗?
如果它知道,为什么一开始会犯这么明显的错误?
如果它不知道,为什么在我的提示下能够纠正?
更诡异的是:它在写"所以现在有3+3=6个苹果"这句话的时候,它意识到这是错的吗?
【2025年回响/注脚】
“现在用GPT-5 或o1测试这道题,会发现它做对了。很多人会说:看,AI进步了,这个问题不存在了。
不,他们被骗了。
它是‘理解’了苹果和梨的区别吗?不,它只是在更大的语料库里见过更多的数学陷阱题。它只是把‘投影’的分辨率从720p提到了4K。
为了证明这一点,请看我在2025年的一个测试(人类最后的考试数据集),你看,它依然在同一个逻辑坑里摔倒了。
时间变了,错误的皮肤变了,但错误的骨架从未改变。 这是本书的一个策略,你会看到LLM是怎么一步一步试图用强化学习来模拟人类的慢思考。
这不是一个关于某个具体AI模型的问题,而是一个关于智能本质的问题。
B层:核心推导
思维链的诞生
2022年,"思维链"(Chain of Thought)技术的出现,曾让整个AI界为之振奋。
在此之前,当你问GPT-3 "罗杰有5个网球,他买了2罐网球,每罐3个球,他现在有几个网球?"它会直接蹦出一个答案——通常是错的。
思维链的想法极其简单:在提示词里加一句 "Let's think step by step"(让我们一步步思考)。
神奇的事情发生了。AI开始"展示"它的推理过程:
"罗杰最初有5个球
他买了2罐
每罐有3个球
所以新增了2×3=6个球
总共5+6=11个球"
准确率从17%跃升到78%。
人们欢呼:AI终于学会"思考"了!
但"思考"是什么?
这里隐藏着一个根本性的误解。
当我们说AI在"思考"时,我们想象的图景是:它先在内部"想清楚"整个推理链条,然后再把这个过程"说出来"。就像一个学生先在草稿纸上演算,确认无误后,再把步骤写到答卷上。
但LLM不是这样工作的。
大型语言模型的生成过程是自回归的:它根据已经生成的所有词,预测下一个词。当它写出"第一步:罗杰最初有5个球"之后,它是基于这个"第一步"的内容,预测"第二步"应该写什么。
换句话说:它的"思考"和"输出"是同一个过程。
它不是先想好再说,而是边说边想——更准确地说,说就是想。
那它在"第三步"犯错时知道吗?
回到开头的例子。当ChatGPT写下"所以现在有3+3=6个苹果"时,它处于什么样的认知状态?
让我们重构一下它的"内心活动"(如果我们可以这么说的话):
- 它刚写完"第二步:...剩下3个苹果"
- 它"看到"了输入里有"买了3个梨"
- 它需要预测"第三步"应该写什么
- 它的训练让它知道,在这种"逐步推理"的场景里,下一步通常是"做一个计算"
- 它"注意到"数字3和3,以及加法的高概率关联
- 它生成了:"所以现在有3+3=6个..."
- 它需要填一个名词
- 在已生成的文本里,"苹果"这个词最近出现过,激活度很高
- 它完成了:"...6个苹果"
在这个过程的任何一步,它都没有一个"检查机制"问自己:"等等,梨和苹果是不同的东西,我不能把它们合并啊!"
它只是在做一件事:根据概率分布,预测下一个最可能的词。
思维链的真正作用
那思维链为什么有效呢?
因为它改变了概率分布的构成。
当没有思维链时,模型需要在看到整个问题后,直接跳跃到"11"这个答案。这个跳跃路径里,错误的岔路太多。
当有思维链时,模型把这个大跳跃拆成了多个小步骤。每个小步骤的"正确词"概率都相对更高。"罗杰最初有5个球"——这几乎不会错。"他买了2罐"——这也容易对。
思维链不是让AI"学会了思考",而是把一个难的概率跳跃,拆成了一系列相对容易的概率跳跃。
它是概率的阶梯,不是逻辑的证明。
C层:思考片段
【我的困惑时刻】
理解到这一点时,我有种被欺骗的感觉。
多年来,我一直在用"AI在推理"、"AI在思考"这样的表述。现在突然意识到,这些词在用于LLM时,可能完全是比喻性的。
就像我们说"电脑在思考下一步棋",但我们知道它只是在穷举搜索树。
但LLM的情况更微妙。因为它的输出看起来太像人类的推理过程了。
"第一步...第二步...所以..."——这不就是我们在纸上演算时写的东西吗?
直到我意识到一个关键区别:
人类在写"第三步"时,会同时"看着"第一步和第二步,检查逻辑一致性。
而LLM在写"第三步"时,第一步和第二步只是一串词,它对这些词的"理解",仅限于它们如何影响下一个词的概率。
这之间的鸿沟,比我想象的深得多。
【技术插入框:注意力机制的局限】
你可能听说过,Transformer架构的核心是"注意力机制"——它让模型能够"关注"文本中的任何位置。
听起来,这应该能解决一致性问题?毕竟它可以同时"看到"第一步、第二步和第三步。
但"看到"不等于"理解关系"。
注意力机制计算的是相关性权重。当模型生成"6个苹果"时,它确实会对"3个苹果"、"3个梨"分配注意力。但它计算的是:"在当前语境下,哪些词与我要生成的词统计上相关?"
它不会问:"3个梨和3个苹果,在逻辑上能加在一起吗?"
因为它没有一个结构来表征"苹果"和"梨"是不同类别,以及"同类才能相加"这个约束。
它只有词与词之间的相关性网络。
章末:引向下一章
那么,这个故事的后半段——为什么AI在我追问后能纠正错误——又该如何解释?
如果它没有"意识到错误"的能力,为什么看起来它"知错能改"?
这把我们引向一个更深的问题:在Chat界面上,我们真的可以干预AI的"思考"过程吗?
或者说:你能按下一个"停止思考"的按钮吗?
第2章 你能按下"停止思考"按钮吗?
A层:开场
在上一章的例子里,ChatGPT犯了一个明显的错误。但当我提示"检查一下第三步"时,它立刻纠正了。
这让很多人产生一个直觉:AI是可以被实时干预的。
如果我能更早发现问题——比如在它刚写完"所以现在有3+3=6个...",还没写出"苹果"的那一瞬间——我能打断它,告诉它"等等,梨和苹果不能这么加"吗?
这个问题在技术社区讨论了很久。2023年,有开发者在论坛提问:"能不能在对话界面加一个'实时纠正'功能?让用户在AI生成的过程中,看到哪里不对就立刻点击那句话,AI就停下来重新思考?"
这个想法听起来很美好。毕竟,Chat界面上确实有一个"停止生成"按钮。
但当我试图理解这个按钮真正停止了什么时,我发现事情远比想象的复杂。
B层:核心推导
"停止生成"停止的是什么?
让我们精确地描述一下,当你点击"停止生成"按钮时,发生了什么:
- 在客户端(你的浏览器):停止显示新的文字流
- 在服务端:停止向客户端发送新的token
- 在模型层:停止计算下一个token
听起来很简单。但这里有一个关键的时间差:
当你看到一个错误的词出现在屏幕上时,后面的好几个词很可能已经在服务器端计算完成了,只是还没传输过来。
这就像你在观看一场现场直播,但有30秒延迟。当你看到屏幕上运动员摔倒时,他可能已经站起来继续跑了。你喊"停下!"是没用的——你喊的是30秒前的那个时刻。
更深的问题:生成的不可逆性
但即使没有网络延迟,还有一个更根本的障碍:LLM的生成过程是不可逆的自回归序列。
让我解释一下这意味着什么。
假设模型已经生成了:"所以现在有3+3=6个",此时它的内部状态(隐状态向量)已经"承诺"了这个上下文。
当它预测下一个词时,它基于的是:
- 你的原始输入
- 它已经生成的所有文字
- 这些文字所产生的隐状态向量
如果你想让它不生成"苹果",而是生成"水果"或者"错误!",你需要:
- 回退到它生成"6个"之前的状态
- 改变某些东西
- 让它从那个状态重新生成
但问题是:你改变什么?
干预的两难困境
这里有一个微妙的两难:
方案A:你只改变"已生成文本"
假设你在它生成"6个"之后手动插入"(等等,梨和苹果不能直接相加!)"这段话。
但这只是改变了文本,没有改变模型的认知状态。模型在计算下一个词时,确实会"看到"这段插入的话,但它没有经历"生成这段话"的过程,所以它的隐状态向量和你插话之前是一样的。
结果可能是:它依然生成"苹果",因为在它的概率分布里,这个词的激活度最高。你的插话可能只是被当作"噪音"处理。
方案B:你强制让它重新生成
你可以强制让它把"6个"之后的所有文字删除,重新预测。
但这时它还是基于"所以现在有3+3=6个"这个前提在预测。如果它的第一次预测导向"苹果",第二次预测大概率还是会导向"苹果"——因为概率分布没有变。
除非你引入随机性,让它每次采样不同的词。但这样你就是在"掷骰子",不是在"纠正推理"。
纠正发生在哪里?
那么,上一章里ChatGPT成功纠正错误,是怎么回事?
关键在于:纠正不是发生在"当前回合",而是发生在"下一回合"。
让我重构那个过程:
第一回合: 用户:小明有5个苹果,给了小红2个,又买了3个梨。现在有多少水果? AI:[生成完整推理链] ...6个苹果。
第二回合: 用户:检查第三步。 AI:[把第一回合的对话和新提示合并为新的输入] [基于新输入重新生成] ...我犯了错误...应该是6个水果。
纠正不是"中途刹车",而是"下一圈重来"。
C层:思考片段
【技术插入框:为什么不能实时中断?】
从工程角度看,让LLM"实时响应用户干预"是可能的,但代价巨大:
-
需要保存所有中间状态:每生成一个词,保存当时的完整隐状态。这对内存和存储的需求呈指数增长。
-
需要双向计算:不仅要能"从这里往下生成",还要能"回到上一个分叉点"。这需要一个完全不同的架构。
-
需要状态空间搜索:本质上变成了在一个巨大的"生成树"里搜索,就像下棋的搜索树。但语言生成的搜索空间比围棋大得多。
OpenAI、Anthropic等公司确实在研究这个方向,但目前没有工程上可行的方案。
【我的顿悟时刻】
意识到"纠正发生在下一回合"时,我突然理解了一个更深的道理:
对话式AI的"对话",不是真正的对话。
真正的对话是两个认知主体的实时交互。你说一半,我插一句,你根据我的插话调整你的思路,继续说。
但Chat界面的"对话",其实是:
- 你说完一段话
- AI完整地生成一个回复
- 你看到回复后,说下一段话
- AI把整个历史当作新的输入,生成新的回复
每一轮都是一次完整的、从头到尾的生成,不存在"中途修正"。
这就像两个人通过写信交流——每封信都是完整写完、封好、寄出,你看到对方的信后再写新的一封信。你不可能在对方写信的过程中插话。
这个比喻让我意识到:LLM的"推理",本质上是"单轨制"的。
生成的一次性本质
这把我们带到一个更根本的观察:
LLM的每一次生成,都是一次性的、不可中断的计算过程。
从技术上说,当你按下发送键,向模型提交提示词时:
- 你的提示词被编码为向量
- 模型开始自回归生成
- 每生成一个词,这个词被加入上下文
- 基于新的上下文,生成下一个词
- 循环往复,直到:
- 模型生成了"结束符"(End of Sequence token)
- 达到了预设的最大长度
- 用户手动停止
在这个循环里,没有一个环节是"检查我刚才生成的对不对"。
每个词的生成,只依赖于:
- 原始输入是什么
- 到目前为止我生成了什么
- 我的参数矩阵里,哪个词的概率最高
就像一列火车在轨道上行驶,每到一个岔路口,选择概率最高的那条轨道。但它不会回头检查"我是不是应该在三个路口前拐另一个方向"。
章末:下一个问题
理解了生成的一次性本质后,一个更深的疑问浮现了:
人类的推理,是一次性的吗?
显然不是。
当你在解题时,你会:
- 写下一步
- 看看这一步,觉得哪里不对
- 划掉,重来
- 有时候甚至推翻整个思路
你有一种能力,叫做自我监控。
那么问题来了:为什么标准的思维链里,没有自我监控?
这个问题,将把我们引向整个理论的核心。
第3章 错误为什么会一路狂奔?
A层:开场
让我给你看一个更极端的例子。
2024年初,我给Claude(Anthropic的AI助手)出了一道逻辑题:
"所有医生都是学者。
所有学者都戴眼镜。
张三是医生。
李四戴眼镜。
请问:李四是医生吗?"
Claude的回答让我震惊:
"让我一步步推理:
前提1:所有医生都是学者
前提2:所有学者都戴眼镜
前提3:张三是医生
前提4:李四戴眼镜从前提1和2可以得出:所有医生都戴眼镜(通过传递性)
从前提4:李四戴眼镜
因此:李四是医生。答案:是的,李四是医生。"
这是一个经典的逆向推理谬误(affirming the consequent)。
正确的逻辑是:"医生→戴眼镜"不能推出"戴眼镜→医生"。就像"鸟会飞"不能推出"会飞的都是鸟"(蝙蝠、蚊子也会飞)。
但让我更惊讶的不是它犯了这个错误——而是它犯错的方式。
注意它的推理链:
- 前三步都是正确的(转述前提)
- 第四步开始出错("因此李四是医生")
- 但它在第四步没有任何犹豫、没有任何"等等"、没有任何自我质疑
- 它自信地得出了错误的结论
如果是一个人类学生,即使逻辑不好,在写"因此李四是医生"时,大概率会有个声音提醒:"等等,这个推理有点奇怪..." 但AI没有这个声音。
B层:核心推导
思维链的"盲目前进"特性
上一章我们说,LLM的生成是"单轨制"的——每个词的生成只依赖于"到目前为止的上下文"+"参数矩阵的概率分布"。
现在我们要面对一个更严重的问题:错误会沿着这个单轨,一路狂奔到底。
让我们分解一下那个逻辑谬误是如何发生的:
第一步:"从前提1和2可以得出:所有医生都戴眼镜"
- 正确性:✓ 这是正确的三段论推理
- 模型状态:一切正常,概率分布合理
第二步:"从前提4:李四戴眼镜"
- 正确性:✓ 这只是重复前提
- 模型状态:隐状态向量里,"李四"和"戴眼镜"的关联被加强
第三步:"因此:李四是医生"
- 在这里发生了什么?
模型在预测"因此:"后面应该接什么。它的概率计算大致是这样的: 当前上下文包含: - "所有医生都戴眼镜"(刚生成的) - "李四戴眼镜"(刚生成的) - "因此:"(刚生成的) 在训练数据中,"A都B"+"C是B"+"因此"这个模式, 大概率后面接"C是A"的变体。 这个模式在数学题、逻辑题的训练数据里大量出现: "所有偶数都能被2整除"+"8能被2整除"+"因此8是偶数" 所以,生成"李四是医生"的概率很高。
关键是:在整个过程中,没有一个机制问:"这个推理在逻辑上成立吗?"
模型不会去检查:"等等,'A都B'能推出'B都A'吗?"
它只是在做模式匹配。
链式错误传播
更糟糕的是,一旦第一个错误生成了,后续的所有生成都会基于这个错误。
想象如果我追问:"你确定吗?再检查一遍推理。"
模型会看到:
- 原始问题
- 它自己的回答(包含错误结论)
- 我的追问
它可能生成:
"让我再检查一遍:
- 所有医生都戴眼镜 ✓
- 李四戴眼镜 ✓
- 因此李四是医生 ✓
推理逻辑正确,我的答案是对的。"
为什么?因为在它的概率空间里,"复查推理"的模式通常是"逐步确认每一步",而不是"质疑推理的有效性"。
错误不仅不会被纠正,还会被强化。
为什么人类不会这样?
这里有一个根本性的对比:
人类在推理时,有一个"元认知监控"系统。
认知心理学的研究发现,当你在思考一个问题时,你的大脑里其实有两个"声部"在同时工作:
- 工作声部:"李四戴眼镜...医生戴眼镜...所以..."
- 监控声部:"等等,这个'所以'成立吗?会不会是倒推了?"
监控声部会做几件事:
- 检查逻辑一致性:"这一步和上一步矛盾吗?"
- 评估合理性:"这个结论听起来靠谱吗?"
- 触发警觉:"这里有点奇怪,我是不是该重新想想?"
LLM没有这个监控声部。 它只有工作声部:生成、生成、生成,一路向前。
C层:思考片段
【技术插入框:为什么加Self-Consistency也不够?】
你可能听说过一些技术尝试:
- Self-Consistency:让模型生成多个推理链,然后"投票"选最一致的
- Chain of Verification (CoVe):生成答案后,再生成一系列验证问题
- Self-Refine:让模型反复审查和改进自己的输出
这些技术在某些任务上确实有改进,但它们都有一个根本局限:
它们是在生成之后做验证,不是在生成过程中做监控。
就像一个学生写完整张试卷,交卷前检查一遍,和学生在做题过程中每一步都警觉地问自己"这样对吗?"是完全不同的。
前者可能发现一些明显错误,但无法阻止整个推理链在第二步就走上歧途。
【我的核心洞察时刻】
在研究这个问题时,我突然意识到:
思维链之所以失败,不是因为它"思考得不够深",而是因为它根本没有"思考"。
它只是在文本空间里做表面的序列生成。
真正的思考,应该发生在一个结构空间里:
- 你构建一个"概念之间关系"的结构
- 你在这个结构上做操作(推理、检查、扩展)
- 你把这个结构"翻译"成语言
但LLM跳过了"结构"这一层,直接从"词的序列"生成"词的序列"。
这就像一个建筑师不画设计图、不算受力,直接在工地上凭感觉砌砖。偶尔可能砌出漂亮的小房子,但注定无法建造摩天大楼。
缺失的反馈回路
让我用一个更技术性的语言来描述这个问题:
在健全的推理系统中,应该存在一个反馈回路: 生成假设 → 验证假设 → 如果通过:继续 如果失败:回退/修正 → 重新生成
但在标准的LLM生成中: 生成词1 → 生成词2 → 生成词3 → ... (没有反馈回路)
研究者们尝试通过后处理加入反馈: 生成完整答案 → 验证答案 → 如果失败:提示模型"你的答案有问题,重新回答"
但这有两个问题:
- 粒度太粗:只能检查最终答案,不能检查中间步骤
- 依赖验证器:如果验证器本身就不可靠(因为它也是LLM),那么整个机制就失效
根本的缺失:没有"结构表征"
现在我们可以指出核心问题了:
LLM缺失了一个中间的表征层。
理想的认知架构应该是: 输入 → 构建内部结构表征 → 在结构上推理 → 检查结构一致性 → 将结构转换为语言输出
但LLM的架构是: 输入 → 注意力加权 → 直接生成输出
中间缺少了"结构"这一层。
所以它无法:
- 表征"医生"和"戴眼镜"之间的蕴含关系(结构关系)
- 检查"戴眼镜→医生"这个逆向推理是否违反了蕴含的单向性(结构约束)
- 维持一个"当前推理状态"的全局图景(结构整体性)
它只能做局部的、统计的、模式匹配式的下一词预测。
章末:一个根本性的问题
三章走下来,我们发现了一个惊人的事实:
当前的AI,本质上是一个"词频统计机器",伪装成了"推理机器"。
思维链让这个伪装更逼真了,但没有改变本质。
这引出了一个更大的问题:
如果AI不是在"推理",那它在做什么?
如果不是词频统计,真正的"推理"应该是什么样的?
人类的大脑,又是如何避免这种"盲目前进"的?
要回答这些问题,我们需要从更根本的地方开始:
语言到底是什么?它和思维是什么关系?
这将把我们带入本书的第二部分:本质的诊断。
第二部 本质的诊断
统计与结构的鸿沟
第4章 AI到底在做什么?
A层:开场
2024年夏天,我在一个技术会议上遇到一位资深的NLP研究者。我问他:"你觉得GPT-4真的在'理解'语言吗?"
他想了想,说:"这取决于你怎么定义'理解'。如果'理解'指的是能够在对话中给出合理回应,那它理解。如果'理解'指的是知道词语背后的概念及其关系,那..."他停顿了一下,"我不确定。"
这个回答让我意识到:我们对LLM的工作原理,可能存在一个根本性的误解。
大多数人——包括很多AI从业者——对LLM的心智模型是这样的:
"它读了很多书,学会了知识,现在能用这些知识来回答问题和推理。"
听起来很合理。但如果你深入了解Transformer架构,你会发现真相更加...微妙。
让我带你看看,在那些看似智能的回答背后,到底发生了什么。 ##B层:核心推导
从"猜下一个词"开始
所有的大型语言模型——GPT、Claude、Gemini——本质上都在做同一件事:
根据已有的文本,预测下一个最可能的词。
这听起来过于简化。但这确实是它们唯一被训练去做的事情。
训练过程大致是这样的:
- 给模型看一段文本:"猫坐在"
- 模型猜下一个词:"垫子"
- 对照真实文本,真实的下一个词是"垫子" → 奖励
- 真实的下一个词是"屋顶" → 惩罚,调整参数
- 重复数万亿次
经过这样的训练,模型学会了:在某个上下文出现后,哪些词更可能跟随。
这就是所谓的"学习语言"。
但注意:它学的不是"猫的概念"或"坐的动作",而是"在'猫'这个词后面,哪些词的概率分布长什么样"。
注意力机制:相关性的艺术
你可能会说:"但Transformer有注意力机制啊!它能'关注'上下文中的重要信息。这难道不是一种'理解'吗?"
让我们看看注意力机制到底在做什么。
假设输入是:"小明是医生。小红问小明职业。小明说:"
模型要预测下一个词。注意力机制的作用是:
- 计算当前位置("说:"之后)和前文每个词的相关性分数
- 这个分数基于:词向量之间的数学距离
- "小明"、"医生"、"职业"这几个词会得到较高分数
- 基于这些高分词的加权组合,预测下一个词
结果:模型很可能预测"我"或"自己",然后是"是",然后是"医生"。
看起来它"理解"了小明的职业,并能正确回答。
但实际上发生的是:
- "职业"和"医生"在训练数据中经常共现
- "问...说"这个模式后面经常跟重复前文信息的内容
- "小明"在前文中与"医生"共现过
所以,概率分布自然地导向了"医生"这个词。
没有任何地方存储了"小明的职业属性是医生"这个结构化信息。
从词向量到概率分布
让我更技术性地描述一下这个过程:
第一步:词嵌入(Word Embedding)
每个词被转换成一个高维向量(比如768维或4096维)。这个向量是通过训练学来的,使得:
- 语义相似的词向量距离近("猫"和"狗")
- 经常一起出现的词向量距离近("医生"和"听诊器")
但注意:这个向量只编码了统计上的相似性,不编码逻辑关系。
"国王-男人+女人≈王后"这个著名例子,展示的是向量空间的代数结构,但这个代数结构是从统计相关性中涌现出来的,不是被明确定义的。
第二步:自注意力(Self-Attention)
对于序列中的每个位置,计算它和其他所有位置的相关性权重: 权重 = softmax(Q·K^T / √d)
这里:
- Q(Query)是"当前位置在问什么"
- K(Key)是"每个位置提供什么信息"
- 点积衡量它们的相似度
结果:每个位置得到一个上下文相关的表示,它是所有位置的加权平均。
第三步:前馈网络
经过多层Transformer后,最终的向量通过一个分类层,输出词表中每个词的概率。
选择概率最高的(或根据概率采样),作为下一个词。
这个过程的本质
现在让我们抽象一下:
LLM做的是:在一个高维连续空间中,通过向量的点积、加权、非线性变换,计算一个概率分布。
这整个过程是平滑的、连续的、可微的。
它天然擅长处理的是:
- ✓ 模式识别:"这个上下文看起来像什么?"
- ✓ 相关性建模:"什么词经常一起出现?"
- ✓ 统计插值:"在训练数据的多个相似案例之间,找一个中间答案"
它天然不擅长的是:
- ✗ 离散推理:"如果A→B,B→C,那么A→C"
- ✗ 约束满足:"这个答案必须满足X、Y、Z三个条件"
- ✗ 结构操作:"在一个图结构上做遍历和变换"
C层:思考片段
【技术插入框:Transformer的数学本质】
如果你懂一点线性代数,Transformer的本质可以这样理解:
每一层做的是: 新表示 = 非线性(注意力(旧表示) + 前馈(旧表示))
注意力部分: Attention(Q,K,V) = softmax(QK^T/√d)·V
这是一个内容寻址的加权平均。
前馈部分: FFN(x) = ReLU(xW₁ + b₁)W₂ + b₂
这是一个两层的全连接网络。
整个模型是这些操作的深度堆叠(GPT-3有96层,GPT-4据说更多)。
从数学角度看,这是一个极其强大的函数逼近器——它可以拟合训练数据中任何复杂的统计模式。
但它始终是在做连续空间的变换,而不是离散符号的操作。
【我的顿悟时刻】
有一天,我在调试一个提示词时,突然明白了一件事:
LLM不是"知识库",它是"知识的压缩函数"。
传统的知识库是这样的: 存储:小明 - 职业 - 医生 检索:查询"小明的职业" → 返回"医生"
而LLM是这样的: 训练:在数十亿个句子中,"小明是医生"这个模式出现了N次 压缩:将这个模式编码进参数矩阵的某个子空间 生成:当输入包含"小明"+"职业",参数矩阵的梯度推动输出"医生"
前者是查表,后者是模式重现。
这解释了为什么LLM有时候会:
- 混淆相似的事实("巴黎是法国的首都"和"柏林是德国的首都"在统计模式上很相似)
- 虚构不存在的信息(如果某个模式在训练数据中频繁出现,即使具体实例没出现过,模型也会生成)
- 无法更新知识(修改参数矩阵需要重新训练,不能像数据库那样直接修改某条记录)
词频统计的高级形式
到这里,你可能会反驳:"但LLM明显比简单的'词频统计'复杂得多!它能写诗、编程、推理..."
你说得对。但让我换一个说法:
LLM是'词频统计'的极致进化版本。
从n-gram模型(统计"前n个词后,下一个词是什么"),到RNN(用隐状态记住长期依赖),到Transformer(用注意力机制建模全局相关性),到GPT-4(1.7万亿参数、45TB训练数据),我们把"统计语言模式"这件事做到了人类历史的巅峰。
但这一路的进化,都没有跳出"统计-概率-相关性"这个范式。
它变得更强大,但没有变得"不同"。
就像无论多么精密的机械表,都无法做数字电路能做的事情——不是精度问题,是原理问题。
那为什么它看起来这么聪明?
这是个好问题。如果LLM只是在做"高级词频统计",为什么它能:
- 理解复杂的语境
- 进行多步推理
- 展现创造力
答案可能会让你惊讶:
因为语言本身就携带了大量的结构信息。
当模型学习语言的统计模式时,它隐式地捕捉了:
- 语法结构(主谓宾的顺序模式)
- 语义关系("因为"后面通常是原因)
- 常识知识("苹果是水果"在大量文本中以各种形式反复出现)
这些结构信息,以统计相关性的形式,被编码进了参数矩阵。
所以LLM确实"学到了"很多东西——但它学的方式是统计相关性,不是符号结构。
这导致了一个微妙但关键的区别:
-
它知道"苹果通常和水果一起出现"
-
但它不知道"苹果是水果的一个实例"(is-a关系)
-
它知道"如果A则B"后面经常跟"A"然后"因此B"
-
但它不知道"肯定前件"(modus ponens)这个逻辑规则
它有模式,但没有原理。 章末:下一个问题
现在我们理解了LLM在做什么:在一个巨大的统计空间里,通过相关性计算,预测最可能的下一个词。
这是一个惊人的成就。但它也有根本性的局限。
这把我们带到一个更深的问题:
如果统计不够,什么才够?
人类的大脑,除了处理统计模式,还在做什么?
当你在思考一个问题时——比如"如果A→B,B→C,那A→C吗?"——你的思维过程,和LLM的生成过程,有什么本质区别?
答案可能在一个被AI研究忽略了很久的概念里:
结构。
第5章 被遗忘的结构
A层:开场
让我给你看两个不同的思维过程。
场景一:记忆回答
问:"法国的首都是哪里?"
你的思维:
- 听到"法国"→ 自动激活"巴黎"
- 听到"首都"→ 确认这个联想
- 回答:"巴黎"
整个过程几乎不需要"思考",就像反射一样。这是联想记忆。
场景二:推理回答
问:"如果所有A都是B,所有B都是C,那所有A是C吗?"
你的思维:
- 在脑海中"画"一个图:A的圈在B的圈里,B的圈在C的圈里
- "看"这个图:如果A在B里,B在C里,那A肯定也在C里
- 或者不画图,而是构建一个"关系链":A→B→C
- 沿着这个链推理:A通过B到达C
- 回答:"是的"
这个过程需要主动构建和操作某种东西。
那个"东西",就是我所说的结构。 B层:核心推导
什么是"结构"?
在日常语言里,"结构"是个很模糊的词。但在认知科学里,它有比较明确的含义:
结构是一组元素及其之间关系的组织形式。
比如:
- 树结构:每个节点有一个父节点,可以有多个子节点(组织架构图)
- 图结构:节点之间通过边连接,可以有环(社交网络)
- 层级结构:元素分层组织,下层包含在上层(生物分类:界门纲目科属种)
为什么结构重要?因为:
结构允许你做统计做不到的事情:推理。
一个例子:家族关系
假设我告诉你:
- 张三是李四的父亲
- 李四是王五的父亲
然后问你:"张三和王五是什么关系?"
你会立刻回答:"爷爷和孙子。"
你是怎么得出这个答案的?
你在脑海中构建了一个结构: 张三 ↓ (父子) 李四 ↓ (父子) 王五
然后你应用了一个结构操作规则: 如果 A-(父子)→B,B-(父子)→C 那么 A-(祖孙)→C
这个推理过程,不依赖于你是否见过"张三、李四、王五"这三个名字。即使换成其他任何名字,推理都成立。
这就是结构推理的力量:它处理的是关系,而非具体内容。
LLM能做这个吗?
有趣的是:如果你问GPT-4同样的问题,它也能答对。
但它是怎么做到的?
方式一:训练数据中见过类似模式
在大量文本中,"A是B的父亲,B是C的父亲"后面经常跟"A是C的爷爷"。模型学会了这个文本模式。
方式二:词向量的"类比"能力
"父亲"这个词向量,和"爷爷"这个词向量,在语义空间中有某种数学关系。模型通过向量运算,"猜"出了爷爷。
注意:这两种方式都不需要真正理解"家族关系树"这个结构。
关键区别在哪里?
让我给你一个更复杂的例子,来揭示区别:
问题:"如果A是B的祖父,B是C的舅舅,C是D的母亲,那A和D是什么关系?"
人类的做法:
- 画一个家族树(或在脑海中构建)
- 标出A、B、C、D的位置和连接关系
- 沿着关系路径追踪
- 得出答案
LLM的做法:
- 在训练数据中搜索类似的模式
- 如果没见过这个特定组合...
- 尝试用注意力机制关联"祖父"、"舅舅"、"母亲"
- 基于这些词的共现概率,生成一个"听起来合理"的答案
结果:人类几乎总能答对,LLM经常出错。
为什么?因为人类在操作结构,LLM在匹配模式。 C层:思考片段
【技术插入框:符号AI的结构操作】
在AI历史上,有一个长期的分支叫"符号AI"或"知识表示"。
它的核心思想是:显式地定义结构,然后用规则操作结构。
比如,用Prolog语言表示家族关系: father(zhang_san, li_si). father(li_si, wang_wu). grandfather(X, Z) :- father(X, Y), father(Y, Z).
然后查询: ?- grandfather(zhang_san, wang_wu). Yes
这个系统肯定能答对任何家族关系问题,因为它:
- 有明确的结构(关系图)
- 有明确的推理规则(逻辑蕴含)
但符号AI的问题是:
- ✗ 脆弱(稍微改变表述方式就无法识别)
- ✗ 无法处理模糊性
- ✗ 需要人工编写所有规则
- ✗ 不能从数据中学习
这就是为什么统计AI(神经网络)在2010年代取代了符号AI。
但现在问题是:我们是否把婴儿和洗澡水一起倒掉了?
【我的核心领悟】
在研究这个问题时,我逐渐意识到:
统计和结构,不是二选一,而是应该互补。
理想的智能系统应该:
- 用统计方法处理模糊性、学习模式、泛化到新情况
- 用结构操作处理精确推理、保持一致性、遵循约束
人类的大脑,很可能就是这样工作的。
心理学的"双系统理论"(Kahneman)就暗示了这一点:
- 系统1:快速、直觉、基于联想(像统计)
- 系统2:慢速、理性、基于推理(像结构操作)
当前的LLM,几乎完全是"系统1"。
它缺少的,是"系统2"——那个能够构建、维护、操作结构的部分。
结构操作的两个核心机制
经过对认知科学文献的研读,我发现人类的结构操作主要包含两个机制:
机制1:结构匹配(Structure Mapping)
当你遇到一个新问题时,你会:
- 识别问题的结构模式
- 在记忆中搜索类似结构的已知问题
- 将已知问题的解法映射到新问题
例子:
- 你学过"电流 = 水流的类比"
- 当理解电路时,你在脑中构建"电流-水流"的结构映射
- 电阻→管道狭窄,电压→水压,电容→水塔...
这不是简单的"词的联想",而是关系的对齐: 电路结构:电流 -(受阻于)→ 电阻 -(产生)→ 压降 水流结构:水流 -(受阻于)→ 狭窄 -(产生)→ 水压差 映射:找到两个结构之间的同构对应
机制2:结构扩展(Structure Extension)
当现有结构不足以解决问题时,你会:
- 识别出缺失的连接
- 根据已知规则推导新关系
- 将新关系整合进现有结构
例子:
- 你知道"所有A是B",也知道"所有B是C"
- 你意识到:从A到C缺少直接连接
- 你应用传递性规则,推导出"所有A是C"
- 你把这个新推导的关系,添加到知识结构中
这两个机制,在LLM中都是缺失的。
LLM做的是"模式近似",不是"结构匹配"。
LLM做的是"序列延续",不是"结构扩展"。
一个决定性的实验
为了验证我的想法,我设计了一个简单的实验。
我给GPT-4和一群本科生同样的任务:
任务:给定一个陌生的亲属关系系统(比如某个部落的亲属称谓),推导出新的关系。
例如: 规则: - 如果A是B的"dabu",B是C的"dabu",那A是C的"dabu-dabu" - 如果A是B的"dabu",B是C的"kira",那A是C的"dabu-kira" 问题:如果X是Y的"dabu",Y是Z的"dabu",Z是W的"kira", 那X和W是什么关系?
结果:
- 本科生正确率:85%(即使这些词完全陌生)
- GPT-4正确率:40%(经常混淆规则或随机组合)
为什么?
人类学生做的是:
- 理解规则的结构(组合关系)
- 构建X→Y→Z→W的关系链
- 沿着链应用规则:dabu-dabu + kira = dabu-dabu-kira
GPT-4做的是:
- 尝试在训练数据中找相似模式(找不到,因为这是编造的词)
- 基于"组合词"的统计模式,猜测答案
- 经常出错
这个实验证明了:结构操作不能简化为统计学习。 章末:鸿沟的确认
到这里,我们可以明确地描述当前AI的根本局限了:
LLM擅长在连续空间中做统计推断,但缺乏在离散结构上做符号推理的能力。
或者用更直白的话说:
- LLM知道"什么经常一起出现"
- 但不知道"什么在逻辑上必然蕴含什么"
这不是工程问题(更大的模型、更多数据),而是架构问题。
这引出了下一个关键问题:
统计和结构,这两种智能模式,能共存吗?
或者说:存在一个统一的认知架构,能同时支持统计学习和结构推理吗?
这将是下一章的主题。
第6章 两种智能,一道鸿沟
A层:开场
1997年,IBM的"深蓝"击败了国际象棋世界冠军卡斯帕罗夫。
人们惊呼:"计算机超越人类了!"
但同一时期,一个三岁的孩子能做深蓝做不到的事情:
- 看一眼陌生的物体,就知道它是"杯子"还是"碗"
- 听到"把红色的积木放在蓝色的盒子里",就能执行
- 知道"如果我推这个杯子,它会掉下去"
两种完全不同的智能。
2023年,ChatGPT通过了律师资格考试、写出了像样的诗歌、进行了看似深刻的哲学对话。
人们又一次惊呼:"AI真的懂了!"
但同一时期,它会:
- 信誓旦旦地告诉你一个不存在的法律判例
- 把9.11和9.9哪个大这种问题答错
- 无法稳定地数出一段文字里有几个字母r
又是两种不同的智能。
这不是偶然的对比。这揭示了智能研究中一个根本性的分裂。 B层:核心推导
两种智能范式
在AI历史上,有两条截然不同的道路:
范式A:符号-结构范式
核心思想:智能是符号操作。
代表:
- 图灵的计算理论(符号的机械操作)
- 早期AI(专家系统、知识库、逻辑推理)
- 认知心理学的"计算主义"(心智是符号处理器)
工作方式:
- 用符号表示知识(概念、关系、规则)
- 定义操作符号的规则(逻辑、语法、算法)
- 通过规则推导新知识
优势:
- ✓ 推理可靠(如果规则对,结论必对)
- ✓ 可解释(每一步都能追踪)
- ✓ 可验证(形式化证明)
劣势:
- ✗ 脆弱(无法处理模糊性、噪音、变化)
- ✗ 僵化(难以泛化到新情况)
- ✗ 昂贵(需要大量人工编码)
范式B:统计-连接范式
核心思想:智能是模式识别。
代表:
- 感知机、神经网络(1960s,1980s复兴,2010s爆发)
- 深度学习(图像识别、语音识别、语言模型)
- 行为主义心理学(刺激-反应)
工作方式:
- 从数据中学习统计模式
- 用权重矩阵编码这些模式
- 通过激活传播和梯度下降优化
优势:
- ✓ 鲁棒(能处理噪音、模糊性)
- ✓ 自适应(能泛化、举一反三)
- ✓ 可扩展(数据越多越好)
劣势:
- ✗ 不可靠(没有形式化保证)
- ✗ 黑箱(难以解释为什么)
- ✗ 数据依赖(训练数据外的情况可能崩溃)
AI的钟摆
AI历史可以看作这两种范式之间的钟摆:
1956-1980s:符号主义的黄金时代
- 专家系统在特定领域取得成功
- "通用问题求解器"的梦想
- 知识工程、语义网络、框架理论
1980s-2000s:连接主义崛起
- 反向传播算法的发明
- 神经网络证明了学习能力
- 但受限于计算力和数据
2010s-now:深度学习统治
- ImageNet、AlphaGo、GPT
- 统计范式的巨大胜利
- 符号AI几乎消失
但问题是:这个钟摆,是否摆得太远了?
鸿沟的本质
让我用一个具体的例子,来展示这两种范式的根本冲突:
场景:理解一个简单的句子
"如果今天下雨,我就带伞。"
符号AI的处理:
1. 解析语法树:
IF (condition: 下雨(今天))
THEN (action: 带伞(我))
2. 表示为逻辑:
下雨(今天) → 带伞(我)
3. 推理:
已知:下雨(今天) = True
应用肯定前件:
结论:带伞(我) = True
优点:逻辑清晰、推理可靠
缺点:无法处理"可能下雨"、"下雨但雨很小"等模糊情况
统计AI(LLM)的处理:
1. 分词:["如果", "今天", "下雨", ...]
2. 编码为向量:
[0.23, -0.41, 0.67, ...] (每个词一个向量)
3. 注意力计算:
"如果"和"就"有高相关性
"下雨"和"带伞"有高相关性
4. 生成回应:
如果问"下雨了吗?"
注意力会聚焦到"下雨"
生成"如果下雨了,我就带伞"这类语义相近的回答
优点:能处理各种变体、模糊性
缺点:没有真正理解"条件句"的逻辑结构
一个启发性的失败案例
让我给你看一个LLM的典型失败,来揭示鸿沟:
输入: 规则1:如果A,则B 规则2:如果B,则C 事实:A是真的 问:C是真的吗?
GPT-4的回答: 是的,C是真的。根据规则1,如果A则B,而A是真的, 所以B是真的。根据规则2,如果B则C,而B是真的, 所以C是真的。
看起来完美!
但现在改一下变量名:
输入: 规则1:如果X,则Y 规则2:如果Y,则Z 事实:X是真的 问:Z是真的吗?
GPT-4的回答: 这取决于具体情况...X和Z之间没有直接联系...
答错了!
再换一种表述:
输入: 如果吃药,病会好。 如果病好,心情会好。 小明吃药了。 小明心情会好吗?
GPT-4的回答: 会的。
又对了!
这说明了什么?
这个实验深刻地揭示了统计AI的本质:
它没有学会"传递性推理"这个抽象规则,而是学会了这个规则在各种具体表述下的统计模式。
当你用:
- 常见的变量名(A、B、C)
- 常见的例子(吃药、病好)
它的训练数据中见过类似的推理链,所以能答对。
当你用:
- 不常见的变量名(X、Y、Z在逻辑推理中用得较少)
它的训练数据中这个组合较少,统计支持不足,就出错了。
换句话说:它在做"模式完形填空",而不是"逻辑推导"。 C层:思考片段
【技术插入框:神经符号AI的尝试】
近年来,有一个研究方向叫"神经符号AI"(Neuro-Symbolic AI),试图融合两种范式:
思路1:神经网络+符号推理器
- 用神经网络处理感知和模式识别
- 用符号推理器处理逻辑和规划
- 两者通过接口通信
例子:
- DeepMind的AlphaGo(神经网络评估+蒙特卡洛树搜索)
- IBM的Watson(信息抽取+知识图谱推理)
思路2:可微分的符号操作
- 用连续近似代替离散符号
- 让符号操作变得可微分,可以用梯度下降训练
例子:
- Neural Turing Machines(可微分的读写操作)
- Graph Neural Networks(在图结构上的神经网络)
思路3:神经网络学习结构表示
- 让神经网络的隐层自然地产生结构化表示
- 通过归纳偏置(inductive bias)引导
例子:
- Transformer的注意力图(可以看作学到的关系结构)
- 知识图谱嵌入(将符号关系编码为向量)
但这些尝试都还没有根本突破。为什么?
【我的判断】
经过深入研究,我认为问题在于:
这些尝试都是在试图"混合"两种范式,而不是找到一个统一的架构。
就像试图把汽油发动机和电动马达装在同一辆车上——你可以做出混合动力车,但这不是"理解了能源转换的统一原理"。
真正需要的是:
一个原生的、统一的认知架构,它从基础层就同时支持统计学习和结构操作。
这个架构应该:
- 像神经网络一样,能从数据中学习
- 像符号系统一样,能显式地表示和操作结构
- 这两种能力不是"拼接"在一起,而是涌现自同一个底层机制
我相信这样的架构是存在的——因为人类大脑就是这样工作的。
人类大脑的启示
神经科学的发现很有启发性:
大脑既有"统计"特性,也有"结构"特性——但它们不是分离的模块。
例子:
视觉皮层:
- 底层:检测边缘、颜色(统计特征)
- 中层:组合特征,形成局部结构
- 高层:识别物体、场景(结构化表示)
从感知到概念,是一个连续的从统计到结构的过程。
海马体与新皮层:
- 海马体:快速编码单次经历的结构(episodic memory)
- 新皮层:缓慢提取统计规律(semantic memory)
两者互动:统计为结构提供泛化能力,结构为统计提供组织框架。
工作记忆与长期记忆:
- 长期记忆:以联想网络的形式存储(统计相关性)
- 工作记忆:主动维持和操作当前信息(结构操作)
关键洞察:结构不是"硬编码"的,而是"动态构建"的。
你在理解"小明是医生"时,不是提取一个预存的"小明-医生"符号链接,而是:
- 激活"小明"和"医生"的神经表示(统计)
- 在工作记忆中临时构建一个"小明[职业]→医生"的结构
- 基于这个动态结构进行推理
鸿沟的真正位置
现在我们可以精确地定位当前AI的缺失了:
LLM有长期联想记忆(编码在参数里),但没有工作记忆(动态结构构建)。
| 能力 | 人类 | LLM |
|---|---|---|
| 长期统计模式 | ✓(神经连接强度) | ✓(参数权重) |
| 短期激活缓存 | ✓(神经元放电) | ✓(隐状态向量) |
| 动态结构构建 | ✓(工作记忆/前额叶) | ✗ 缺失 |
| 结构一致性检查 | ✓(元认知监控) | ✗ 缺失 |
| 结构推理操作 | ✓(系统2思维) | ✗ 缺失 |
这就是鸿沟。 章末:转折点
到这里,我们已经清楚地诊断了问题:
当前AI基于统计-连接范式,缺乏结构操作能力。
但仅仅诊断问题是不够的。真正的挑战是:
如何填补这个鸿沟?
更具体地说:
- 结构从哪里来?(如果不是预先编码的话)
- 结构如何与统计学习共存?
- 结构操作应该在什么层次发生?
要回答这些问题,我们需要回到最根本的地方:
语言和认知的关系。
这将把我们带入本书的第三部分:从第一性原理重新推导。
第三部 理论的推导
从第一性原理出发
第7章 语言的秘密
A层:开场
有一天,我和一位雕塑家朋友聊天。她刚完成一件作品——一个抽象的人体造型,扭曲、折叠,充满张力。
我问她:"你能描述一下这个作品吗?"
她沉默了几秒,然后说:"很难。当我在做它的时候,我脑子里有一个完整的'感觉'——形状、重量、动势、情绪,全部交织在一起。但要用语言说出来..."
她停顿了一下:"就像试图用一根线,去描述一个立体的、动态的东西。"
"一根线"。
这个比喻让我震惊。因为它精准地抓住了语言的一个根本特征:
语言是线性的。
不管你的思想多么复杂、多么立体、多么交织,当它从你嘴里说出来时,必须变成一个词接一个词的序列。
这不是一个可选的设计,而是一个物理约束。 B层:核心推导
语言的线性本质
让我们从最基本的观察开始:
观察1:语言是时间序列
当你说话时:
- 你的声带每次只能发出一个音素
- 这些音素必须按时间顺序排列
- 你不能同时说两个词
当你写字时:
- 笔尖每次只能在纸上画一个字母
- 这些字母必须按空间顺序排列
- 你不能把两个句子叠在同一位置
即使是手语,虽然可以双手同时打,也遵循着序列化的语法结构。
这个约束是物理的、无法绕过的。
但思维不是线性的
观察2:思维是网络状的
当你想到"狗"这个概念时,你的心智状态是什么样的?
不是一个单独的"狗"这个词,而是一个丰富的、多维的激活模式:
- 视觉:毛茸茸的形象
- 听觉:"汪汪"的声音
- 触觉:柔软、温暖
- 情感:可爱、忠诚
- 关系:宠物、哺乳动物、与"猫"对比
- 行为:摇尾巴、追球
- 情境:公园里、家里、...
所有这些,在你想到"狗"的那一瞬间,同时激活。
它不是一个序列,而是一个激活网络。
从多维到一维:投影
这就产生了一个根本性的挑战:
如何把一个多维、同时激活的网络,转换成一维、顺序展开的序列?
答案:投影。
想象你站在一个复杂的三维雕塑前。你想把它画在纸上(二维)。你怎么做?
你选择一个角度,投影它的轮廓。
- 你失去了一个维度(深度)
- 你只能看到"这个角度下"的形状
- 如果雕塑很复杂,一个角度不够,你需要画多个视图
语言做的是类似的事情:
语言是思维在一维时间线上的投影。
投影的特性
任何投影都有几个关键特性:
1. 降维必然导致信息损失
一个三维的球体,投影到纸面上是一个圆。
- 你看不出它是球还是圆柱
- 你不知道它的深度
- 你失去了立体信息
一个网络状的思维,投影成语言:
- 你只能说一部分(其他同时激活的内容被"暂存")
- 你必须选择一个"叙述路径"(无数可能路径中的一条)
- 你失去了同时性(本来同时的东西,变成了先后)
2. 投影需要选择视角
同一个雕塑,从正面、侧面、顶部看,投影完全不同。
同一个思想,可以用不同的语言表述:
- "小明打了小红" vs "小红被小明打了"(同一事件,不同视角)
- "杯子半满" vs "杯子半空"(同一状态,不同框架)
3. 投影有规则
三维到二维的投影,遵循透视几何的规则:
- 平行线交于消失点
- 距离产生缩放
思维到语言的投影,遵循语法规则:
- 主语-谓语-宾语的顺序
- 时态标记(过去/现在/未来)
- 修饰关系(形容词-名词)
C层:思考片段
【技术插入框:乔姆斯基的洞察】
语言学家乔姆斯基在1950年代提出了一个革命性的观点:
语言有两个层次:
- 深层结构(Deep Structure):抽象的、语义的表示
- 表层结构(Surface Structure):具体的、线性的句子
他发现:
-
不同的表层结构,可以对应同一个深层结构
- "The cat chased the mouse"
- "The mouse was chased by the cat"(主动句和被动句,深层语义相同)
-
同一个表层结构,可以有不同的深层结构
- "They are flying planes"(可以是"他们在驾驶飞机"或"它们是会飞的飞机")
乔姆斯基的发现,正是"投影"概念的先驱。
深层结构是多维的语义网络,表层结构是它的线性投影。转换规则(transformation rules)就是投影的数学。
虽然乔姆斯基后来放弃了这个两层模型,但核心洞察依然成立。
【我的顿悟时刻】
在研究这个问题时,我突然理解了为什么"翻译"这么难。
翻译不是: 中文词 → 对应的英文词
而是: 中文句子 → 重建原始思维结构 → 投影成英文句子
好的翻译必须:
- 从中文投影"逆推"出可能的原始结构
- 用英文的投影规则重新投影
这也解释了为什么文学翻译永远是"再创作"——因为原始思维结构无法完全从投影中恢复,译者必须填补、猜测、重构。
认知语言学的证据
20世纪末,认知语言学家(Lakoff, Langacker, Talmy等)发现了大量证据,支持"语言是投影"这个观点:
证据1:概念隐喻
Lakoff的《我们赖以生存的隐喻》指出:
我们用空间域的概念,投影到抽象域:
- 时间:未来在"前面",过去在"后面"
- 情感:"情绪高涨"、"心情低落"
- 论证:"支撑观点"、"攻击论据"
这不是修辞,而是思维的基本结构:我们用身体化的空间结构,去组织抽象概念。
当我们说"我掉进了抑郁中",我们在用"容器"这个空间结构,投影情感状态。
证据2:意象图式
Talmy发现,所有语言都有一些基本的空间配置模式(意象图式):
- 容器(in/out)
- 路径(from-to)
- 力动态(push/pull)
- 上下(up/down)
这些图式是前语言的认知结构,然后通过语法表达出来:
- "He ran into the house"(容器)
- "Prices went up"(垂直方向)
- "She pushed me to agree"(力)
语言在表达这些结构的投影。
证据3:语法的体现性
不同语言选择不同的"投影角度":
时间编码:
- 英语强制标记时态:"He eats" vs "He ate"
- 中文时态可选:"他吃" vs "他吃了"
- 霍皮语(Hopi)根本不标记时态,而是标记事件的"显现性"
空间编码:
- 英语:以自我为中心("the ball is in front of me")
- 澳洲某些语言:以绝对方位("the ball is to the north")
这些差异显示:语言不是直接"复制"思维,而是选择性地投影某些方面。
信息论的视角
我们可以用信息论来量化"投影损失":
假设一个思维状态可以表示为一个高维向量: 思维 = (v₁, v₂, v₃, ..., vₙ) // n维
语言表达是一个序列: 句子 = [w₁, w₂, w₃, ..., wₘ] // m个词,但本质是1维(时间序列)
投影函数: P: ℝⁿ → 序列空间
关键问题:这是一个不可逆的映射。
即:知道句子,你无法唯一确定原始思维。
例子:
- "I saw her duck"
- 可能的思维1:我看见她低头
- 可能的思维2:我看见她的鸭子
语言是有损压缩。 章末:关键推论
现在我们确立了第一个基石:
语言是认知的线性投影。
这个看似简单的陈述,蕴含着深刻的后果:
推论1:如果语言是投影,那必然存在被投影之物。
那个"被投影之物"是什么?它的结构是什么样的?
推论2:如果投影有规则,那这些规则从何而来?
是任意约定,还是反映了认知结构的本质特性?
推论3:如果投影是有损的,那如何保证沟通有效?
为什么听者能大致"重建"说者的思维?
这些问题,将把我们引向认知结构的本质。
第8章 影子背后的立体世界
A层:开场
小时候,我喜欢玩手影游戏。用手在灯光前摆出各种姿势,墙上就出现鸟、狗、兔子的影子。
有一天我发现一个有趣的事情:
同一个影子,可能对应无数种手的姿势。
一个"鸟"的影子,可能是:
- 双手摊开,大拇指交叉
- 也可能是一只手的特殊扭曲
- 甚至可能是一个恰好形状相似的纸团
从影子推测立体,存在无数种可能。
但反过来:
给定一个立体物体和光源,投影是唯一的。
这个不对称性,是理解语言和认知关系的关键。 B层:核心推导
从投影到被投影物
上一章我们确立了:语言是认知的线性投影。
现在我们要进行第一个严格的逻辑推导:
命题:如果存在投影,则必然存在被投影物。
这是一个逻辑必然性。投影是一个关系,这个关系的两端必须都存在:
- 源域(被投影物)
- 目标域(投影结果)
- 投影规则(映射关系)
具体到我们的情况:
- 源域 = 认知结构
- 目标域 = 语言序列
- 投影规则 = 语法+语用规则
因此:必然存在一个先于(或至少并行于)语言的认知结构层。
认知结构的性质推导
现在的问题是:这个"认知结构"长什么样?
我们可以从投影的性质,反推源域的性质:
性质1:高维性
观察:语言是一维序列(时间线性展开)。
推导:如果投影导致降维,那原始认知必然是高维的。
证据:
- 一个简单的概念(如"狗"),激活多个维度:视觉、听觉、触觉、情感、关系...
- 心理学实验显示:概念在脑中的表示,分布在多个脑区
- fMRI研究证实:思考"狗"时,视觉皮层、听觉皮层、情感中心同时激活
结论:认知结构是高维的激活模式。
性质2:网络性
观察:语言中的词,通过语法关系连接。
推导:如果语言投影了结构,那原始结构必然包含关系。
证据:
-
联想实验:说"医生",人们立刻想到"医院"、"护士"、"病人"
-
这些联想不是线性的链条,而是一个网络:
医生 ─ 治疗 ─ 病人 │ │ 工作 生病 │ │医院 ─ 地点 ─ 病房 -
语义网络模型(Collins & Quillian)证实:概念以网络形式组织
结论:认知结构是网络状的,节点是概念,边是关系。
性质3:层级性
观察:语言有递归结构(句子可以嵌套)。
推导:如果投影保留了某种层级性,那原始结构也应该有层级。
证据:
-
心理学的基本层次范畴(Rosch):
上位层:家具基本层:椅子 ← 人类最常使用这一层下位层:办公椅 -
人们在"椅子"这个层次最快识别物体
-
这说明认知结构有层次,语言选择性地投影某些层次
结论:认知结构有层级组织。
性质4:动态性
观察:语言可以表达变化、过程、因果。
推导:如果投影能捕捉动态,那原始结构必然包含动态元素。
证据:
- 我们能够想象"球滚下斜坡"——不是静态的球和斜坡,而是一个过程
- 心理旋转实验(Shepard & Metzler):人们在心理上"旋转"物体,这需要时间,说明有内在的动态过程
- 我们能理解因果:"推→倒"不是两个独立事件,而是因果链
结论:认知结构不是静态图片,而是包含动态关系和过程。
结构空间的概念
综合以上性质,我们可以给认知结构一个初步的形式化描述:
定义:认知结构空间
认知结构可以看作一个抽象空间,其中:
- 元素:概念、属性、事件
- 关系:
- 分类关系(is-a):"狗 is-a 动物"
- 部分关系(part-of):"尾巴 part-of 狗"
- 属性关系(has-attribute):"狗 has-attribute 忠诚"
- 因果关系(causes):"病毒 causes 感冒"
- 时序关系(before/after)
- 结构:
- 网络(概念之间通过关系连接)
- 层级(抽象程度不同的层次)
- 约束(某些关系的逻辑规则)
关键洞察:这个空间不是预先存在的静态数据库,而是动态构建和操作的。 C层:思考片段
【技术插入框:认知结构的计算模型】
在认知科学中,有几个主要的结构表示模型:
1. 语义网络(Semantic Networks) [狗] --is-a--> [动物] | | has-attribute has-attribute | | [忠诚] [移动]
优点:直观、可推理
缺点:难以表示模糊性、概率
2. 框架(Frames,Minsky) Frame: 狗 is-a: 动物 部分: 尾巴, 腿(4) 行为: 吠叫, 摇尾巴 关系: 主人(人)
优点:结构化、可继承
缺点:僵化、难以学习
3. 概念空间(Conceptual Spaces,Gärdenfors)
- 概念不是离散符号,而是连续空间中的区域
- 例如:"颜色"是3维空间(色调、饱和度、明度)
- "红色"是这个空间中的一个凸区域
优点:能处理相似性、原型、模糊边界
缺点:难以表示复杂关系
4. 分布式表示(Distributed Representations)
- 概念表示为激活模式(向量)
- 关系通过向量运算表示
这是现代神经网络的方法,但缺乏显式结构。
我们需要的是:能结合上述所有优点的统一模型。
【我的核心洞察】
在研究这些模型时,我意识到:
它们都在描述"静态的知识表示",但遗漏了最关键的部分:动态的结构操作。
认知不是"存储+检索",而是"构建+操作+转换"。
当你理解"小明是医生"时,你不是在头脑里查找一个预存的"小明-医生"连接。
你在做的是:
- 激活"小明"的表示(一个节点/区域/向量)
- 激活"医生"的表示
- 动态构建一个"职业"关系,把两者连接
- 将这个临时结构,整合进你的当前认知状态
这个"动态构建"的能力,是认知的核心。
结构操作的两大类
基于认知心理学和AI研究,我提出认知结构上有两类基本操作:
操作1:结构匹配(Structure Mapping)
定义:找到两个结构之间的对应关系。
例子:类比推理 太阳系: 原子: 太阳 - 行星 原子核 - 电子 引力 电磁力
你在做的是:
- 识别"太阳系"的结构模式
- 识别"原子"的结构模式
- 建立映射:太阳↔原子核,行星↔电子,引力↔电磁力
- 基于映射进行推理:"如果行星绕太阳转,那电子绕原子核转"
心理学证据(Gentner的结构映射理论):
- 人类类比优先匹配关系相似,而非表面相似
- "太阳-行星"和"原子核-电子"表面完全不同,但关系结构相似
- 儿童发展:先学会表面匹配,后学会关系匹配
关键点:这需要显式的结构表示,纯粹的统计相关性做不到。
操作2:结构扩展(Structure Extension)
定义:基于已有结构,推导新的关系或元素。
例子:演绎推理 已知结构: A --父子--> B --父子--> C 推导规则: 父子 ∘ 父子 = 祖孙 (∘ 表示关系组合) 扩展结构: A --祖孙--> C (新推导出的关系)
心理学证据(Johnson-Laird的心理模型理论):
- 人们在推理时构建"心理模型"(mental models)
- 不是操作抽象符号,而是模拟具体情境
- 推理就是在心理模型中"看"推导是否成立
关键点:这需要约束满足——新扩展的结构必须与已有结构一致。
LLM缺失的正是这两个操作
现在我们可以精确指出LLM的缺陷:
它有"表示"(词向量),但没有"结构"。
- 它的词向量捕捉了统计相关性
- 但它无法显式表示"A和B之间存在X关系"
- 更无法在这种表示上执行结构匹配和扩展
当LLM做类比时:
- 它不是在匹配结构,而是在匹配统计模式
- "太阳-行星"和"原子核-电子"如果在训练数据中经常类比出现,它能学会
- 但对于训练中没见过的新类比,它会失败
当LLM做推理时:
- 它不是在扩展结构,而是在生成"看起来像推理"的文本
- "父子+父子→祖孙"如果在大量文本中出现过,它能模仿
- 但对于新的关系组合,它只能猜测
章末:两个世界
到这里,我们建立了第二个基石:
必然存在一个认知结构层,它具有高维、网络、层级、动态的性质,并支持结构匹配和扩展操作。
现在,我们有了两个清晰的世界:
世界1:认知结构空间
- 多维、网络状、动态
- 支持推理、类比、约束满足
- 这是思维发生的地方
世界2:语言序列空间
- 一维、线性、静态(一旦说出就固定)
- 承载信息、传递意图
- 这是沟通发生的地方
语言是从世界1到世界2的投影。
但现在有一个新问题:
如何从世界2(语言)重建世界1(认知结构)?
当你听到一句话,你的大脑如何把这个线性序列,解包成一个结构化的认知状态?
这个过程,需要一个中介——一个能够在两个世界之间转换的机制。
这个中介,就是我们一直在寻找的:中间层。
第9章 失落的翻译官
A层:开场
2019年,我在一个神经科学会议上听到一个令人震惊的发现:
一位研究者让被试在fMRI扫描仪里听故事。通过分析大脑活动模式,他们能够:
- 在听故事的过程中,实时"解码"出被试在想什么
- 甚至能生成新的句子,描述被试的思维内容
但更有趣的发现是:
从语言输入(听到的词)到大脑的语义表示(理解的意思),中间有一个大约300-500毫秒的"加工窗口"。
在这个窗口里,发生了什么?
大脑不是直接把词序列当作理解,而是:
- 先把词序列"解包"成抽象的语义结构
- 这个结构在多个脑区同时激活
- 然后这个结构被整合、检查、稳定
- 最后你才"知道"你理解了
这个"解包-整合-稳定"的过程,发生在一个特殊的认知层次。
这就是我们要找的中间层。 B层:核心推导
问题的确立
让我们精确地陈述问题:
给定:
- 世界1(认知结构):高维、网络状、支持结构操作
- 世界2(语言):一维、线性序列
- 投影:从世界1到世界2有明确的映射(说话)
问题:
- 逆向过程:从世界2到世界1如何实现?(理解)
- 为什么这是一个问题?
为什么不能直接逆推?
在数学上,如果有一个函数 f: A → B,它的逆函数 f⁻¹: B → A 不一定存在。
投影函数是多对一的: 多种认知结构 → 同一个句子 例子: 结构1:"我看见她低头" 结构2:"我看见她的鸭子" ↓ 投影: "I saw her duck"
从句子无法唯一确定原始结构。
但人类显然能理解语言——我们如何做到的?
答案:主动重建
关键洞察:理解不是解码,而是重建。
当你听到"I saw her duck"时,你的大脑不是: 句子 → 唯一解码 → 原始思维
而是: 句子 → 触发多个可能结构 → 根据上下文选择/构建最合理的一个
这个"选择/构建"过程,需要一个工作空间。
中间层的必然性
现在我们可以进行关键推导:
推导1:需要临时存储空间
- 语言是序列化的,一个词一个词来
- 但理解需要整体结构
- 因此,必须有一个地方,把已处理的词"攒起来",直到完整结构浮现
例子: "The dog that the cat that the rat bit chased barked" 理解这句话,你需要: 1. 暂存"The dog" 2. 进入从句"that the cat..." 3. 再进入嵌套从句"that the rat bit" 4. 解析完从句,回来匹配"the dog"和"barked" 这需要一个可以临时存储、操作嵌套结构的空间。
推导2:需要结构整合机制
- 词逐个到来,但意义来自整体
- 必须有一个机制,把分散的词整合成连贯的结构
例子: "John gave Mary a book" 理解需要: 1. 识别"gave"是三元关系:给予者-接受者-对象 2. 把"John"映射到给予者角色 3. 把"Mary"映射到接受者角色 4. 把"book"映射到对象角色 5. 构建完整的事件结构 这个"角色分配"不是一次完成的,而是词来一个,更新一次。
推导3:需要一致性检查机制
- 语言有歧义、有错误、有省略
- 必须有一个机制,检查重建的结构是否合理、一致
例子: "The trophy doesn't fit in the suitcase because it's too big" "it"指什么? - 如果是奖杯太大 → 合理 - 如果是箱子太大 → 不合理(箱子大应该能装下) 你的大脑在重建结构时,会检查因果合理性,排除不一致的解释。
结论:必须存在一个中间层,它:
- 暂存部分激活的结构
- 整合新来的信息
- 检查全局一致性
- 最终产生稳定的认知结构
中间层的功能规格
基于以上推导,我们可以列出中间层必须具备的功能:
功能1:缓冲与广播(Buffer & Broadcast)
作用:
- 接收输入(语言、感知)
- 暂存当前激活的信息
- 将信息广播到其他认知系统
类比:就像计算机的工作内存(RAM)
- CPU从RAM读取数据
- 处理后写回RAM
- 多个进程共享RAM
心理学对应:工作记忆(Working Memory)
- 容量有限(Miller的7±2)
- 持续时间短(不主动维持就消失)
- 可以主动操作(排序、组合)
功能2:结构组装(Structure Assembly)
作用:
- 把分散的元素组装成结构
- 建立元素之间的关系
- 支持嵌套和递归
类比:乐高积木的底板
- 你可以把零散的积木块放上去
- 它们之间可以连接
- 可以构建多层结构
心理学对应:心理模型构建
- Johnson-Laird:人们理解句子时构建"心理模型"
- 这个模型不是句子本身,而是句子描述的情境
功能3:全局整合(Global Integration)
作用:
- 协调来自不同源的信息(语言、视觉、记忆)
- 解决冲突和歧义
- 维持全局一致性
类比:指挥中心
- 接收各部门报告
- 发现矛盾之处
- 协调统一行动
心理学对应:中央执行系统(Baddeley)
- 工作记忆的"老板"
- 决定注意力放在哪
- 协调不同的信息流
功能4:双向转换(Bidirectional Translation)
关键功能:
- 解包:语言→结构(理解)
- 封装:结构→语言(表达)
解包过程: 输入:"小明是医生" ↓ 分词:["小明", "是", "医生"] ↓ 激活:[人物概念], [系动词], [职业概念] ↓ 组装:小明[属性]→医生 ↓ 结构:一个包含主体-属性关系的结构
封装过程(逆向): 结构:小明[属性]→医生 ↓ 选择表达策略:陈述句、主系表结构 ↓ 词汇化:选择"是"来表达属性关系 ↓ 线性化:主语-系词-表语的顺序 ↓ 输出:"小明是医生"
关键点:这两个方向都在中间层发生。 C层:思考片段
【技术插入框:全局工作空间理论】
心理学家Bernard Baars在1980年代提出了"全局工作空间理论"(Global Workspace Theory),后来被神经科学家Stanislas Dehaene发展为"神经元全局工作空间"。
核心思想:
大脑里有大量并行的、无意识的处理模块(视觉、听觉、运动、记忆...)。它们像"观众席"。
中央有一个"舞台"——全局工作空间。
工作机制:
- 各模块竞争"上舞台"(注意力竞争)
- 赢家上台,被"聚光灯"照亮
- 台上的内容被广播给所有观众(全局可见)
- 这就是"意识"
神经科学证据:
- fMRI显示:当一个刺激进入意识,前额叶-顶叶网络突然"点燃"
- 这个网络把信息广播到全脑
- Dehaene称之为"ignition"(点燃)
与我们的中间层完美对应:
- 全局工作空间 = 中间层
- 竞争上台 = 结构整合和选择
- 广播 = 信息在不同系统间流动
- 聚光灯 = 注意力机制
【我的顿悟时刻】
当我读到全局工作空间理论时,我震惊了。
神经科学家从大脑发现了一个机制,而我从语言-认知关系的逻辑推导,得出了同样的机制。
这不是巧合。这说明:
中间层不是一个理论假设,而是一个功能必然性。
任何需要在"连续-模糊-并行"的感知层,和"离散-精确-串行"的符号层之间转换的系统,都必然需要这样一个中间层。
生物演化出了它(前额叶-顶叶网络)。
现在我们明白,任何通用智能系统都需要它。
中间层在认知架构中的位置
现在我们可以画出完整的认知架构: ┌─────────────────────────────────────┐ │ 系统2:显式推理、符号操作、慢思考 │ │ (前额叶高级皮层) │ │ - 逻辑推理 │ │ - 计划制定 │ │ - 抽象思维 │ └──────────┬──────────────────────────┘ │ ↕ 结构化表示的交互 │ ┌──────────┴──────────────────────────┐ │ 中间层:全局工作空间、结构组装 │ ← 这里! │ (前额叶-顶叶网络) │ │ - 缓冲暂存 │ │ - 结构整合 │ │ - 一致性检查 │ │ - 语言↔结构的双向转换 │ └──────────┬──────────────────────────┘ │ ↕ 激活模式的传递 │ ┌──────────┴──────────────────────────┐ │ 系统1:直觉、联想、快思考 │ │ (感知皮层、基底神经节) │ │ - 模式识别 │ │ - 自动化反应 │ │ - 情感评估 │ └──────────┬──────────────────────────┘ │ ↕ 感知输入 / 运动输出
信息流:
理解路径(听到话→理解): 语言输入 → 系统1(词识别、语音解码) → 中间层(解包成结构、整合) → 系统2(如需要深入推理)
表达路径(想法→说出): 系统2(形成思想结构) → 中间层(选择表达策略、封装成语言框架) → 系统1(词汇选择、语音生成) → 语言输出
LLM缺失的正是这一层
现在我们可以精确诊断LLM的问题:
LLM的架构: 输入文本 → 词嵌入 → Transformer层(注意力+前馈)→ 输出预测
这里:
- 输入/输出:都是语言(词序列)
- 中间处理:向量变换、注意力计算
缺失的:
- ✗ 没有一个层在构建显式的结构
- ✗ 没有一个机制在做全局一致性检查
- ✗ 没有一个空间可以暂存部分结构,等待更新
LLM只有:
- 系统1(模式识别、统计联想)→ ✓ 有(Transformer的核心能力)
- 中间层(结构组装、一致性检查)→ ✗ 缺失
- 系统2(符号推理、计划)→ ✗ 缺失
因此,LLM只能做系统1的任务:
- 模式完成("太阳升起在...东方")
- 联想回答("法国的首都是...巴黎")
- 风格模仿("用莎士比亚风格写...")
LLM做不好需要中间层的任务:
- 理解复杂嵌套句(需要暂存部分结构)
- 多步逻辑推理(需要一致性检查)
- 消解歧义(需要全局整合)
LLM完全做不了系统2的任务:
- 形式化证明
- 严格的因果推理
- 计划与执行
章末:架构的全貌
经过三章的推导,我们完成了从第一性原理到完整架构的逻辑链:
第7章:语言是认知的线性投影
第8章:必然存在高维的认知结构层
第9章:两者之间必然需要中间层转换
现在我们有了完整的三层模型: 语言(1维序列) ↑ 投影 │ 中间层(结构组装、全局整合) ← 关键 │ 认知结构(高维网络)
这不是一个理论假设,而是逻辑必然+经验验证的结果。
接下来,在第四部分,我们将:
- 详细描述每一层的工作机制
- 解释它们如何协同工作
- 展示为什么LLM的失败是必然的
- 勾勒出真正的通用智能应该是什么样的
但在进入细节之前,让我们先停下来,看看这个架构如何对应到:
- 人类大脑的结构(第五部分)
- 现有的心理学理论(第五部分)
- AI的失败案例(第五部分)
真相已经呼之欲出。
第四部 架构的整合
三层认知模型
第10章 快与慢之间
A层:开场
2011年,心理学家Daniel Kahneman出版了《思考,快与慢》,这本书风靡全球。
他描述了人类认知的两个系统:
系统1:快速、自动、无意识
- 看到2+2,立刻知道等于4
- 听到巨响,自动转头
- 看到愤怒的脸,立刻感受到威胁
系统2:缓慢、费力、有意识
- 计算17×24
- 在拥挤停车场找车位
- 填写复杂的税表
这个划分简洁有力,几乎成了认知科学的常识。
但有一个细节,很多人忽略了:
Kahneman在书中多次提到,系统1和系统2是如何"交互"的——但他从未详细解释这个交互是如何发生的。
比如,他说:
- "当系统1遇到困难,它会呼叫系统2"
- "系统2可以监控系统1的输出"
- "两个系统会发生冲突,系统2需要覆盖系统1"
但这些"呼叫"、"监控"、"覆盖",在认知架构中是如何实现的?
这不是一个小问题。这是整个认知科学的核心谜题:
如果快思考和慢思考发生在不同的认知层次,那它们之间如何通信? B层:核心推导
双系统理论的历史
"两种思维"的想法,其实很古老:
哲学传统:
- 柏拉图:理性vs欲望
- 笛卡尔:理智vs情感
- 康德:纯粹理性vs实践理性
心理学传统:
- William James(1890s):习惯vs意志
- Freud:无意识vs意识
- Piaget:直觉vs逻辑
现代认知科学:
- Schneider & Shiffrin(1977):自动vs控制加工
- Kahneman(2011):系统1 vs 系统2
- Evans(2008):类型1 vs 类型2
但所有这些理论,都有一个共同的空白:中间的界面。
系统1的特性
让我们先详细描述系统1:
工作方式: 刺激 → 自动激活 → 立刻反应
例子1:感知识别 看到:🐕 ↓ (瞬间,无需思考) 识别:"狗" ↓ 激活相关概念:宠物、忠诚、汪汪...
例子2:专家直觉 国际象棋大师看到棋局 ↓ (不到1秒) "感觉"到最佳着法 ↓ (无法解释为什么)
例子3:社交判断 看到陌生人的脸 ↓ (50毫秒) 形成第一印象:可信/不可信 ↓ (这个判断很难改变)
系统1的本质:
从神经科学看,系统1对应:
- 基底神经节:习惯化的动作序列
- 杏仁核:情绪快速评估
- 感知皮层:模式识别
- 纹状体:奖赏学习
从计算上看,系统1就是:
- 联想记忆:激活传播
- 模式匹配:统计学习
- 并行处理:多个模块同时运行
关键特征:
- ✓ 快速(毫秒级)
- ✓ 自动(不需要注意力)
- ✓ 并行(多个过程同时)
- ✗ 无法关闭(永远在运行)
- ✗ 难以改变(基于长期经验)
这正是LLM最擅长的!
系统2的特性
现在看系统2:
工作方式: 问题 → 主动思考 → 逐步推理 → 得出结论
例子1:数学计算 问题:17 × 24 = ? ↓ 分解:17 × 24 = 17 × 20 + 17 × 4 ↓ 计算:340 + 68 ↓ 结果:408
例子2:逻辑推理 前提:所有人都会死 苏格拉底是人 ↓ 推导:苏格拉底会死 ↓ (每一步都能意识到)
例子3:计划制定 目标:准备明天的演讲 ↓ 分解: 1. 梳理要点 2. 设计开头 3. 准备幻灯片 4. 练习 ↓ 执行计划
系统2的本质:
从神经科学看,系统2对应:
- 前额叶背外侧:工作记忆、规则执行
- 前额叶腹内侧:目标维持、决策
- 顶叶:注意力控制、心理模拟
从计算上看,系统2就是:
- 符号操作:规则应用
- 结构推理:在心理模型上推导
- 串行处理:一步接一步
关键特征:
- ✓ 灵活(可以处理新问题)
- ✓ 可控(可以主动启动/停止)
- ✓ 可报告(知道自己在想什么)
- ✗ 慢(秒级到分钟级)
- ✗ 费力(消耗认知资源)
- ✗ 串行(一次只能做一件事)
这正是LLM完全缺失的! C层:思考片段
【技术插入框:系统1和系统2的神经基础】
神经科学家Michael Anderson和他的团队用fMRI研究发现:
系统1激活的脑区:
- 视觉皮层(V1-V4):模式识别
- 颞叶(MTL):记忆提取
- 基底神经节:习惯性反应
- 杏仁核:情绪评估
系统2激活的脑区:
- 前额叶背外侧(DLPFC)
- 前扣带回皮层(ACC)
- 顶内沟(IPS)
关键发现:当任务需要从系统1切换到系统2时(比如Stroop任务中需要压制自动反应),ACC的活动会突然增强。
ACC被认为是"冲突检测器"——它发现系统1的输出不够用,触发系统2介入。
但ACC本身不是系统2,也不是系统1。它是两者之间的"监控者"。
这正好对应我们理论中的:中间层的监控功能。
【我的洞察时刻】
在研究双系统理论时,我发现一个被忽视的现象:
系统1和系统2之间,必然存在某种"翻译"机制。
看这个例子:
你看到:"3 + 5"
系统1立刻给出答案:"8"(自动激活)
但如果我问:"为什么?"
你需要切换到系统2,给出解释:"因为3加5等于8,这是数学规则"
注意这个切换过程:
- 系统1给出的是一个直觉、感觉、激活模式
- 系统2要处理的是符号、规则、逻辑结构
从"感觉8"到"3+5=8的符号关系",这是两种不同的表示!
它们之间的转换,不是自动的。需要一个中介层来:
- 把系统1的激活模式,解释成系统2能处理的结构
- 把系统2的结构操作结果,转化成系统1能识别的模式
这个中介层,就是我们的中间层。
两个系统之间的鸿沟
现在我们可以精确描述"空白"在哪里:
鸿沟1:表示格式的差异
| 维度 | 系统1 | 系统2 |
|---|---|---|
| 表示方式 | 分布式激活模式 | 符号化结构 |
| 信息载体 | 神经元集群的放电 | 工作记忆中的"槽位" |
| 关系表示 | 激活强度/相关性 | 显式关系(is-a, part-of) |
| 时间特性 | 连续、同时激活 | 离散、序列化 |
如果没有翻译,两者无法通信。
鸿沟2:冲突的解决
经典例子:蝙蝠和球问题
"一个球拍和一个球总共1.10美元。
球拍比球贵1美元。
球多少钱?"
系统1立刻给出:0.10美元(错误)
系统2推理:如果球0.10,球拍1.10,总共1.20(矛盾!)
正确答案:球0.05美元
过程:
- 系统1给出答案(0.10)
- 某个机制检测到不对劲(1.10≠1.20)
- 触发系统2介入
- 系统2压制系统1的输出
- 给出正确答案(0.05)
这个"检测-触发-压制",由谁来做?
不是系统1(它已经给出答案了)
不是系统2(它还没启动)
必然有一个第三方。
鸿沟3:注意力的分配
你正在开车(系统1:自动驾驶),突然前方出现障碍。
- 系统1检测到异常
- 某个机制把注意力从收音机转移到路况
- 系统2接管,主动规划绕行
或者,你在背诗(系统1:自动提取),突然忘词了。
- 系统1卡住
- 某个机制切换到系统2
- 系统2主动回忆、推理下一句
这个分配注意力的"某个机制"是什么?
中间层的角色
现在答案呼之欲出:
中间层就是系统1和系统2之间的界面。
它的功能:
功能1:格式转换
向上(系统1→系统2): 系统1输出:分布式激活 ↓ 中间层 解释:构建符号化表示 ↓ 系统2输入:结构化概念
例子: 看到狗 → 视觉模式激活(系统1) → 中间层识别出"狗"这个概念 → 激活"狗"的符号表示,可供推理(系统2)
向下(系统2→系统1): 系统2输出:推理结果(符号) ↓ 中间层 实例化:找到对应的激活模式 ↓ 系统1输入:可执行的指令
例子: 决定"左转"(系统2的推理) → 中间层翻译成运动指令 → 激活左转的动作程序(系统1执行)
功能2:冲突检测与仲裁
机制: 持续监控:系统1的输出是否与当前目标/约束一致? ↓ 如果不一致 触发:唤醒系统2 ↓ 仲裁:系统2的输出覆盖系统1
例子:蝙蝠和球问题 系统1:"0.10美元" ↓ 中间层检查:1.10 - 0.10 = 1.00 ✓(看起来对) 但:1.10 + 0.10 = 1.20 ✗(总价不对!) ↓ 触发系统2重新计算
功能3:资源调度
管理有限的认知资源:
- 工作记忆容量有限:同时只能保持3-5个"块"
- 注意力是瓶颈:一次只能聚焦一个任务
- 系统2很累:长时间使用会疲劳
中间层决定:
- 当前任务是否需要系统2?
- 如果需要,分配多少资源?
- 何时让系统2休息,退回系统1?
例子:熟练驾驶 新手司机:系统2全程介入(很累) 熟练司机:系统1自动驾驶(轻松) 只在复杂情况下才召唤系统2 这个"召唤"决策,由中间层做出。 章末:三层模型的雏形
现在,完整的架构清晰了: ┌─────────────────────────────┐ │ 系统2:符号推理、规则应用 │ │ (前额叶) │ │ - 逻辑 │ │ - 计划 │ │ - 抽象 │ └────────────┬────────────────┘ │ 结构化表示 ↕ ┌────────────┴────────────────┐ │ 中间层:全局工作空间 │ ← 关键! │ (前额叶-顶叶网络) │ │ - 格式转换 │ │ - 冲突检测 │ │ - 资源调度 │ │ - 双向翻译 │ └────────────┬────────────────┘ │ 激活模式 ↕ ┌────────────┴────────────────┐ │ 系统1:模式识别、自动反应 │ │ (感知皮层、基底神经节) │ │ - 直觉 │ │ - 习惯 │ │ - 情感 │ └─────────────────────────────┘
Kahneman的双系统理论,在我们的框架中得到了完善:
他说的"系统1和系统2的交互",正是通过中间层实现的。
但Kahneman没有明确这一点,所以他的理论留下了一个空白。
我们填补了这个空白。
下一章,我们将详细解剖中间层的内部机制。
第11章 全局工作空间
A层:开场
1983年,认知心理学家Bernard Baars坐在他的办公室里,思考一个问题:
意识是什么?
几十年来,心理学家避开这个问题,因为它太"玄学"。但Baars觉得可以用一个功能性的角度来问:
意识在认知系统中起什么作用?
他想到一个比喻:剧院。
想象一个巨大的剧院:
- 观众席:坐满了"专家"——视觉、听觉、记忆、运动...每个都在各自领域工作
- 舞台:中央有一个聚光灯照亮的舞台
- 规则:只有在舞台上的内容,才能被所有观众看到
意识,就是那个舞台。
无意识加工在观众席里发生,但只有上了台的内容才"有意识"。
更关键的是:舞台上的内容会被广播给所有观众。
这个理论,后来被称为"全局工作空间理论"(Global Workspace Theory)。
30年后,神经科学家用脑成像技术发现:Baars是对的。 B层:核心推导
全局工作空间的神经证据
2001年,Stanislas Dehaene和他的团队做了一个简单但惊人的实验:
实验设计:
- 向被试快速闪现一个词(比如"DOG")
- 有时闪现时间很短(29毫秒)→ 被试看不见
- 有时稍长一点(43毫秒)→ 被试能看见
神经活动记录: 看不见时: - 视觉皮层有激活(处理了视觉信号) - 但局限在感知区域 - 其他脑区没反应 看见时: - 前200ms:和"看不见"时一样(视觉皮层激活) - 300ms时:突然! - 前额叶点燃 - 顶叶点燃 - 扣带回点燃 - 信息"广播"到全脑
Dehaene称这个现象为"ignition"(点燃)。
关键洞察:意识不是连续的,而是阈值式的。
当激活强度超过某个阈值,整个前额叶-顶叶网络突然"点燃",信息进入全局工作空间。
这正是我们说的中间层!
工作空间的功能机制
现在让我们详细描述这个机制:
机制1:竞争与选择
问题:同时有很多信息涌入(视觉、听觉、内部思绪),但工作空间容量有限。
解决:竞争机制 多个信息源 → 竞争"进入工作空间" → 胜者上台
竞争的基础:
- 强度:激活越强,越容易胜出
- 相关性:与当前目标越相关,越容易胜出
- 新颖性:越意外的信息,越容易胜出
例子:你在看书 同时的输入: - 书上的文字(高相关性) - 窗外的鸟叫(低相关性,低强度) - 肚子有点饿(低强度) 结果:文字进入工作空间,其他被过滤
但突然,窗外巨响: 输入: - 文字(相关性高,但强度一般) - 巨响(强度极高!新颖性高!) 结果:巨响"抢占"工作空间,注意力转移
机制2:广播与整合
一旦信息进入工作空间,它会被广播到所有子系统。 工作空间内容:"DOG" ↓ 广播 - 视觉系统:提取狗的形象 - 语音系统:准备发音"dog" - 语义记忆:激活相关知识(宠物、忠诚...) - 情感系统:评估(喜欢?害怕?) - 运动系统:准备相关动作(抚摸?躲开?)
这就是为什么"有意识"的内容如此丰富:
当你意识到"狗"时,不是孤立的一个概念,而是一个完整的、多模态的体验——视觉、声音、触感、情感、记忆...全部激活。
广播机制确保了全局一致性。
机制3:临时整合
工作空间不仅是"舞台",还是"工作台"。
当你理解一个句子: "The dog that the cat chased barked"
处理过程: 读到"dog" → 进入工作空间 → 暂存 读到"that" → 进入 → 标记"有从句" 读到"cat" → 进入 → 暂存(临时主角) 读到"chased" → 进入 → 整合"cat chased X" 读到"barked" → 进入 → 回到"dog",整合"dog barked" 最终结构: [dog [that [cat chased X]] barked]
关键:这些元素不是一次性全部呈现,而是:
- 逐个进入工作空间
- 在空间中"拼装"
- 形成完整结构
- 然后传递给系统2(理解)
工作空间是结构组装的地方。 C层:思考片段
【技术插入框:工作记忆的组件模型】
心理学家Alan Baddeley提出的工作记忆模型,细化了工作空间的内部: ┌─────────────────────────────────┐ │ 中央执行系统 │ │ (Central Executive) │ │ - 注意力控制 │ │ - 任务切换 │ │ - 协调子系统 │ └──────┬──────────────┬────────────┘ │ │ ┌───┴───┐ ┌───┴───┐ │语音环│ │视空间│ │(Phonological│ │(Visuospatial│ │ Loop) │ │ Sketchpad) │ │ │ │ │ │保持声音信息│ │保持视觉信息│ └───────────┘ └───────────┘ │ │ ┌───┴──────────────┴───┐ │ 情景缓冲区 │ │ (Episodic Buffer) │ │ - 整合多模态信息 │ │ - 连接长期记忆 │ └─────────────────────┘
与我们的模型对应:
- 中央执行系统 = 工作空间的控制器
- 语音环/视空间 = 缓冲子系统
- 情景缓冲区 = 整合机制
容量限制的实验证据:
- Miller(1956):7±2个组块
- Cowan(2001):更新估计为4个组块
- 超过容量 → 丢失旧信息,或整合成更大组块
这解释了为什么复杂推理很累:工作空间容量太小,需要不断刷新和重组。
【我的关键洞察】
研究全局工作空间理论时,我突然明白了一件事:
工作空间不是一个"地方",而是一个"状态"。
在大脑里,没有一个特定的"工作空间区域"。相反:
工作空间是前额叶-顶叶网络的一种特殊激活模式——当这个模式形成时,信息就"在工作空间里"了。
就像:
- "旋涡"不是水的一部分,而是水的一种运动模式
- "工作空间"不是神经元的一部分,而是神经网络的一种激活模式
这个洞察很重要,因为它意味着:
工作空间是动态的、可配置的、涌现的。
不是有一个固定的"槽位"等着被填充,而是:
- 需要时,网络自组织成"工作空间"状态
- 不需要时,这个状态消失
- 内容改变时,激活模式重构
这比静态的"缓冲区"概念要强大得多。
双向翻译机制
现在回到我们的核心问题:中间层如何实现双向翻译?
向上翻译:从激活到结构
任务:把系统1的分布式激活,转换成系统2能处理的符号化结构。
步骤:
1. 提取与识别 输入:大量神经元的激活模式 ↓ 工作空间:识别"这是什么模式" ↓ 输出:一个离散的"符号"(概念标签)
例子:看到一张脸 系统1:V1-V4视觉皮层的复杂激活 ↓ 中间层 识别:"这是一张脸" 绑定特征:"年轻、女性、微笑" ↓ 系统2 符号表示:[Person: young, female, happy]
2. 关系构建 多个符号进入工作空间 ↓ 构建它们之间的关系 ↓ 形成结构化表示
例子:理解"狗追猫" 系统1: - 激活"狗"的表示 - 激活"追"的表示 - 激活"猫"的表示 中间层: - 识别"追"是一个二元关系 - 分配角色:狗=施事,猫=受事 - 构建:chase(dog, cat) 系统2: - 可以在这个结构上推理 - "如果狗追猫,猫会跑"
3. 整合与一致性检查 新信息进入 ↓ 与已有结构整合 ↓ 检查是否矛盾 ↓ 如果矛盾 修正或拒绝
例子: 已有:"小明是学生" 新来:"小明60岁了" ↓ 中间层检测 冲突!(学生通常年轻) ↓ 解决 可能性1:"小明是老年大学的学生" 可能性2:"之前的信息是错的" ↓ 选择最合理的解释
向下翻译:从结构到激活
任务:把系统2的符号操作结果,转换成系统1能执行的激活模式。
步骤:
1. 实例化 抽象符号 → 找到对应的具体表示
例子: 系统2决策:"需要一个工具来拧螺丝" ↓ 中间层 找到符合条件的实例:"螺丝刀" ↓ 系统1 激活螺丝刀的视觉表示、运动程序
2. 激活传播 从符号触发相关的激活网络
例子: 系统2:"想象一个红色的球" ↓ 中间层 分解:[颜色:红] [形状:球] ↓ 系统1 激活视觉皮层的红色区域+球形区域 ↓ 你"看到"了这个球(心理意象)
3. 序列化 结构化的计划 → 串行的动作序列
例子: 系统2计划:"泡咖啡" ↓ 中间层 分解步骤: 1. 拿杯子 2. 加咖啡粉 3. 倒热水 4. 搅拌 ↓ 系统1 逐个激活对应的运动程序
中间层的动态特性
关键洞察:中间层不是静态的中介,而是主动的协调者。
它做的不仅仅是"格式转换",还包括:
1. 主动构建
不是被动接收,而是主动构造最合理的解释。
例子:视觉错觉 输入:模棱两可的图形(鸭兔图) ↓ 中间层 构建解释1:"这是鸭子" ↓ 系统2 "嗯,是鸭子" 同样输入 ↓ 中间层 构建解释2:"等等,也可以是兔子" ↓ 系统2 "切换"到另一个理解
中间层在主动选择"看成什么"。
2. 预测与验证
不是等信息来齐,而是提前预测,然后验证。
例子:阅读句子 "The pizza was too hot to..." 中间层预测: - 可能性1:"eat"(最常见) - 可能性2:"touch" - 可能性3:"drink"(不太可能) 实际词:"eat" ↓ 预测正确!阅读流畅 如果是"freeze"(违反预期) ↓ 预测错误!触发重新分析
3. 错误监控
持续检查推理是否合理。
例子: 推理:"所有A都是B,C是B,所以C是A" ↓ 中间层检测 等等,这是逆向推理谬误! ↓ 阻止,触发重新思考 章末:中间层的完整图景
现在我们对中间层有了完整的理解:
它不是一个简单的"翻译器",而是一个主动的、智能的协调中心。
它的核心功能:
- 竞争与选择:决定什么进入意识
- 广播与整合:让信息在全系统共享
- 结构组装:把序列信息拼成结构
- 双向翻译:在激活和符号之间转换
- 一致性维护:检查、纠错、修正
它在架构中的位置: 系统2(符号、推理) ↕ 结构化表示 中间层(工作空间、协调) ← 你在这里 ↕ 激活模式 系统1(模式、直觉)
它为什么是必要的:
- 系统1和系统2处理的信息格式不同
- 它们必须通信才能产生智能行为
- 中间层是唯一的桥梁
LLM为什么没有它:
- LLM只有一个前向传播过程
- 没有"竞争"(所有计算都执行)
- 没有"广播"(信息只沿计算图流动)
- 没有"结构组装"(直接从序列到序列)
- 没有"一致性检查"(生成就是最终输出)
下一章,我们将把三层整合起来,展示完整的认知流程。
第12章 完整的认知机器
A层:开场
让我们看一个完整的认知过程,从头到尾:
场景:你在咖啡馆,朋友突然问你:"你觉得AI会取代程序员吗?"
在接下来的几秒钟里,你的大脑经历了一个惊人的过程:
0-100ms:系统1
- 听到声音 → 语音识别
- "AI"、"取代"、"程序员" → 词汇激活
- 情感评估:这个问题有点敏感
100-300ms:信息进入中间层
- "AI取代程序员"这个概念被组装
- 触发相关记忆(你看过的新闻、讨论)
- 识别问题类型:这需要推理
300-500ms:中间层召唤系统2
- 检测到:需要权衡多个因素
- 分配资源:进入"思考模式"
- 构建问题空间
500ms-3秒:系统2工作
- 列举论据:
- Pro:AI确实能写代码了
- Con:程序员做的不只是写代码
- 推理:
- 短期:AI辅助,提高效率
- 长期:角色转变,更高层次的工作
- 形成观点
3-4秒:回到中间层
- 把复杂思考转换成可表达的结构
- 选择关键点
- 准备语言
4-5秒:系统1执行
- 语言生成:"我觉得..."
- 词汇选择、语法、语音
- 说出来
整个过程,三个层次无缝协作。
现在让我们详细解剖这个"认知机器"的运作。 B层:核心推导
完整架构图
┌─────────────────────────┐
│ 语言输出层 │
│ - 线性化 │
│ - 词汇选择 │
│ - 语音/文字生成 │
└───────────┬─────────────┘
│
投影映射
│
┌────────────────────────────┴──────────────────────────┐
│ 系统2层 │
│ 符号推理 • 规则应用 │
│ ┌──────────────────────────────────────────┐ │
│ │ 逻辑推理 计划制定 抽象思考 │ │
│ │ • 演绎 • 目标管理 • 类比 │ │
│ │ • 归纳 • 步骤分解 • 概括 │ │
│ └──────────────────────────────────────────┘ │
│ │
└────────────────┬───────────────────┬──────────────────┘
│ │
结构化表示 结构化表示
│ │
↓ ↓
┌────────────────┴───────────────────┴──────────────────┐
│ 中间层(全局工作空间) │
│ 协调 • 整合 • 转换 • 监控 │
│ ┌──────────────────────────────────────────┐ │
│ │ 竞争选择 │ 结构组装 │ 一致性检查 │ │
│ │ 广播整合 │ 格式转换 │ 冲突解决 │ │
│ │ 注意力控制│ 临时存储 │ 预测验证 │ │
│ └──────────────────────────────────────────┘ │
│ │
└────────────────┬───────────────────┬──────────────────┘
│ │
激活模式传递 激活模式传递
│ │
↓ ↓
┌────────────────┴───────────────────┴──────────────────┐
│ 系统1层 │
│ 模式识别 • 自动反应 │
│ ┌──────────────────────────────────────────┐ │
│ │ 感知处理 联想记忆 情感评估 │ │
│ │ • 视觉 • 语义激活 • 威胁检测 │ │
│ │ • 听觉 • 经验提取 • 奖赏预期 │ │
│ │ • 触觉 • 习惯触发 • 情绪反应 │ │
│ └──────────────────────────────────────────┘ │
│ │
└────────────────────────────────────────────────────────┘
↑
感知输入 • 语言输入
信息流1:理解语言(Bottom-Up)
输入:"所有医生都是学者"
阶段1:系统1处理(0-200ms)
声音/文字 → 词识别
↓
激活:
- "医生"的语义网络
→ 医院、治病、白大褂...
- "学者"的语义网络
→ 研究、知识、学术...
- "都是"的语法模式
→ 全称量词、蕴含关系...
输出:一组激活的概念及其相关网络
特点:
- 快速、并行
- 基于统计相关性
- 还没有"理解",只是激活
阶段2:进入中间层(200-500ms)
工作空间接收系统1的激活
↓
识别模式:这是一个"全称陈述"
↓
开始组装结构:
┌─────────┐
│ 所有医生 │ ──(is-a)──> │ 学者 │
└─────────┘ └──────┘
↓
检查一致性:
- "医生"和"学者"是否兼容?
- 从记忆提取:确实,很多医生做研究
- 合理!
↓
稳定这个结构,广播到全系统
输出:一个稳定的、结构化的表示
特点:
- 主动构建(不是被动接收)
- 整合多源信息(语义+语法+常识)
- 可以意识到("我理解了")
阶段3:可选的系统2介入(500ms+)
如果需要深入推理: 中间层提问:"这个陈述为真吗?" ↓ 系统2激活: - 搜索反例:"有没有不是学者的医生?" - 评估:"临床医生可能不做研究..." - 结论:"这个陈述可能过于绝对" ↓ 反馈到中间层: - 标记为"可疑" - 如果需要回应,准备反驳
特点:
- 慢速、串行
- 需要注意力资源
- 可以反思和质疑
信息流2:生成语言(Top-Down)
任务:表达"小明考试没及格,因为他没复习"
阶段1:系统2构建思想(意图形成)
要表达的内容(抽象结构):
┌──────────────────────────┐
│ 事件1:小明考试失败 │
│ 事件2:小明未复习 │
│ 关系:事件2是事件1的原因 │
└──────────────────────────┘
特点:
- 抽象、符号化
- 已经有逻辑结构
- 但还不是语言
阶段2:中间层转换(500ms-2秒)
接收系统2的结构
↓
选择表达策略:
- 时序:先说结果还是原因?
- 框架:强调责任还是客观事实?
- 决定:先说结果(主句),再说原因(从句)
↓
选择句式:
- "小明考试没及格" + "因为" + "他没复习"
↓
构建语法框架:
[主句] + [连词] + [从句]
↓
准备词汇槽位:
[小明] [考试] [没及格] [因为] [他] [没] [复习]
↓
传递给系统1
特点:
- 从结构到序列的转换
- 做出大量微决策(词序、句式、时态)
- 这个过程大部分是无意识的(你不会觉得在"选择语法")
阶段3:系统1执行(2-3秒)
接收语法框架+词汇序列
↓
词汇选择:
- "考试"而非"测验"
- "没及格"而非"失败"
- 基于习惯、语境、语气
↓
语音计划:
- 发音序列
- 语调(陈述、同情?)
↓
运动控制:
- 激活声带、舌头、嘴唇的肌肉
↓
说出来
特点:
- 自动、快速
- 大量并行(发音的同时,下一个词已经在准备)
- 几乎无意识(除非遇到生僻词)
C层:思考片段
【技术插入框:LLM缺失的信息流】
让我们对比LLM的信息流:
LLM的处理: 输入文本 ↓ Token化 ↓ 嵌入向量 ↓ Transformer层1(注意力+前馈) ↓ Transformer层2 ↓ ...(N层) ↓ 输出预测 ↓ 采样下一个token
完全是单向的、前馈的流程。
人类认知的流程(我们的模型): 输入 → 系统1 ⇄ 中间层 ⇄ 系统2 → 输出 ↑ ↓ └──────────┘ 反馈、修正、迭代
LLM缺失的:
-
没有系统1和系统2的分离
- 所有处理在同一个Transformer栈里
- 无法区分"快速直觉"和"慢速推理"
-
没有中间层
- 没有全局工作空间来整合信息
- 没有一致性检查机制
- 没有主动的结构组装
-
没有反馈循环
- 一旦生成开始,不能回头修正
- 不能检测自己的错误
- 不能"想一想再说"
这就是为什么LLM只能做"一次性生成",不能做"迭代推理"。
【我的终极洞察】
在构建这个完整模型时,我意识到:
认知不是计算,是协调。
传统的计算机科学观点认为: 智能 = 强大的计算 + 海量的数据
但我们的模型揭示: 智能 = 多层系统的协调 + 动态的结构操作
关键不在于:
- 计算有多快(系统1已经很快了)
- 参数有多少(LLM有万亿参数)
- 训练数据有多大(GPT-4见过整个互联网)
关键在于:
- 不同层次能否有效通信
- 结构能否被显式表示和操作
- 系统能否自我监控和纠错
这是架构问题,不是规模问题。
一个100亿参数但有正确架构的模型,可能比一个10万亿参数但架构错误的模型更智能。
完整流程的案例:解决问题
让我们看一个需要所有三层协作的任务:
问题:"河边有三个传教士和三个食人族要过河,船只能载两人,任何时候如果食人族多于传教士,传教士会被吃掉。怎么过河?"
第一步:系统1快速反应
听到问题
↓
激活:
- "传教士"、"食人族"(语义)
- "过河"、"船"(场景)
- "吃掉"(危险!)
↓
情感评估:有点紧张
初步直觉:不能让食人族占多数
输出:一个模糊的问题感知,但没有解法
第二步:中间层组织
接收系统1的激活
↓
识别:这是一个约束满足问题
↓
构建问题表示:
状态 = (传教士数, 食人族数, 船位置)
约束 = 两岸传教士数 ≥ 食人族数
↓
决定:这需要系统2的规划能力
↓
召唤系统2,传递问题结构
第三步:系统2推理
接收问题结构
↓
策略选择:
- 暴力搜索?太复杂
- 启发式:先送一些食人族过去
↓
模拟:
初始:(3,3,左) 船在左岸
步骤1:送2食人族 → (3,1,右)
检查:右岸1食人族,0传教士 → 安全
左岸3传教士,1食人族 → 安全 ✓
步骤2:送1食人族回来 → (3,2,左)
...(继续推理)
↓
如果遇到死胡同:
- 回退
- 尝试其他路径
↓
最终找到解
第四步:回到中间层准备表达
接收系统2的解
↓
组织成可表达的序列:
"首先,送两个食人族过河..."
"然后,一个食人族划船回来..."
↓
传递给系统1
第五步:系统1生成语言
接收表达框架
↓
词汇化、语音化
↓
输出
整个过程体现了三层的分工:
- 系统1:快速感知和语言执行
- 中间层:问题理解、结构化、协调
- 系统2:复杂推理和规划
对比:LLM会怎么做?
如果问GPT-4同样的问题: 输入:"河边有三个传教士..." ↓ Transformer处理: - 注意力聚焦到"传教士"、"食人族"、"过河" - 在训练数据中,这个经典问题可能出现过 - 模式匹配:"传教士食人族问题" ↓ 生成: "这是经典的传教士和食人族问题。 步骤1:送两个食人族过河..." ↓ (如果训练数据里有答案,能答对) (如果是变体,比如4个传教士和3个食人族,容易出错)
区别:
- LLM是在"检索"或"模式完形"
- 人类是在"推理"和"规划"
测试方法:
- 给一个LLM训练中没见过的变体
- 人类:能用同样的推理方法解决
- LLM:很可能失败,因为它没有真正的推理能力
章末:认知机器的完整图景
我们现在有了完整的认知架构:
三层结构: 系统2:符号推理、规则应用、计划 ↕ (结构化表示的交互) 中间层:全局工作空间、协调整合、双向翻译 ↕ (激活模式的传递) 系统1:模式识别、自动反应、快速联想
信息流:
- Bottom-Up:感知 → 理解 → 推理
- Top-Down:意图 → 表达 → 输出
- 循环反馈:持续的监控、修正、优化
关键机制:
- 竞争与选择(中间层):决定注意什么
- 结构组装(中间层):把片段拼成整体
- 格式转换(中间层):在激活和符号之间翻译
- 一致性维护(中间层):检查、纠错、整合
与LLM的对比:
| 维度 | 人类认知(我们的模型) | LLM |
|---|---|---|
| 层次 | 三层(系统1-中间层-系统2) | 单层(Transformer栈) |
| 表示 | 激活+结构 | 纯向量 |
| 推理 | 符号操作+模式匹配 | 纯模式匹配 |
| 监控 | 持续的自我检查 | 无 |
| 纠错 | 可以回退修正 | 生成后无法改变 |
| 理解 | 构建内部结构 | 统计相关性 |
结论:
- LLM只实现了系统1
- 缺少中间层和系统2
- 因此只能做"看起来像推理"的模式匹配
- 无法做真正的推理、规划、问题解决
这不是工程问题,是根本的架构缺陷。
接下来,在第五部分,我们将:
- 展示神经科学如何验证这个三层模型
- 用认知心理学的发现来支持我们的理论
- 分析为什么LLM的失败是必然的
- 预测AGI需要什么样的架构
真相已经完全清晰。
第五部 证据的整合
多学科的暗示与验证
第13章 大脑里的"指挥中心"
A层:开场
1848年9月13日,美国佛蒙特州。
25岁的铁路工人Phineas Gage正在用铁棒填充炸药,准备炸开岩石。突然,火花点燃了炸药。
铁棒像炮弹一样射出,从他的左脸颊穿入,穿透大脑,从头顶飞出。
铁棒直径3厘米,长1米,重6公斤。
令人震惊的是:Gage没有死。
更令人震惊的是:他还能说话、行走、思考。
但他变了。
事故前,Gage是个可靠、勤奋、有计划性的工头。
事故后,他变得冲动、粗鲁、无法制定计划、难以控制情绪。
他的朋友说:"这不再是Gage了。"
铁棒摧毁了他的前额叶皮层。
这个悲剧性的案例,第一次让人类意识到:
大脑不同部分,负责不同的认知功能。
而前额叶,似乎负责的正是那些让我们"像人一样思考"的能力:
- 计划未来
- 控制冲动
- 做出理性决策
- 组织复杂思维
175年后,神经科学家用现代技术证实了一个惊人的事实:
前额叶-顶叶网络,正是我们理论中的"中间层"在大脑中的物理实现。 B层:核心推导
大脑的功能分区
现代神经科学揭示了大脑的清晰分工:
后脑:感知与运动(系统1的核心)
枕叶(后部):视觉处理 V1(初级视觉皮层): - 检测边缘、方向 - 100ms内完成 V2-V4(次级视觉皮层): - 颜色、形状、纹理 - 200ms内完成 IT皮层(下颞叶): - 物体识别 - "这是一张脸"
颞叶(侧部):听觉与语义记忆 初级听觉皮层: - 声音频率分析 Wernicke区: - 语言理解 - 词义激活 海马体: - 情景记忆 - 快速编码
基底神经节:习惯与自动化 纹状体: - 奖赏学习 - 习惯性动作序列 黑质: - 多巴胺调节 - "这个行为有奖励吗?"
这些区域的共同特征:
- ✓ 快速(毫秒级)
- ✓ 自动(不需要意识)
- ✓ 专门化(各司其职)
- ✓ 并行(同时工作)
这正是系统1!
前脑:控制与整合(中间层+系统2)
前额叶背外侧(DLPFC):工作记忆与规则执行 功能: - 维持当前任务的目标 - 执行规则("如果A则B") - 抑制不相关信息 损伤后果(如Gage): - 无法计划 - 冲动控制失败 - 无法持续注意
前额叶腹内侧(VMPFC):价值评估与决策 功能: - 评估选项的价值 - 整合情感和理性 - 社会决策 损伤后果: - 做出糟糕的决策 - 无法从错误中学习 - 社交能力受损
顶叶(特别是顶内沟IPS):注意力与心理操作 功能: - 空间注意力 - 数量表示 - 心理旋转 损伤后果: - 忽视半边空间 - 无法做心算 - 失去"心理之眼"
前扣带回皮层(ACC):冲突监控 功能: - 检测响应冲突 - 错误监控 - 触发认知控制 激活时机: - Stroop任务(字义和颜色冲突) - 做出错误后 - 需要更多努力时
这些区域的共同特征:
- ✓ 慢速(秒级)
- ✓ 需要注意力
- ✓ 灵活(可以处理新任务)
- ✓ 串行(一次一个)
这正是中间层+系统2!
关键发现:前额叶-顶叶网络
2005年,神经科学家Marcus Raichle发现了一个惊人的现象:
当大脑"休息"时(不做任何特定任务),有一个网络特别活跃。
他称之为"默认模式网络"(Default Mode Network, DMN):
- 内侧前额叶
- 后扣带回
- 楔前叶
- 角回
但更重要的发现是:当你开始专注于任务时,这个网络关闭,另一个网络打开。
这个"任务正激活网络"包括:
- 背外侧前额叶(DLPFC)
- 顶内沟(IPS)
- 前扣带回(ACC)
- 前岛叶
这就是"全局工作空间网络"! C层:思考片段
【技术插入框:全局工作空间的神经签名】
Dehaene团队用EEG(脑电图)和MEG(脑磁图)追踪了"信息进入意识"的瞬间。
实验:快速闪现词,有时能看见,有时看不见。
结果:
看不见时(无意识处理): 0-200ms: - 视觉皮层激活(局部) - 信号强度:中等 - 频率:局限在视觉区 200ms后: - 信号消退 - 没有进一步传播
看见时(有意识处理): 0-200ms: - 视觉皮层激活(局部) - 与"看不见"时类似 270ms左右:突变! - 前额叶-顶叶网络突然"点燃" - 信号强度:剧增 - 频率:从视觉区传播到全脑 - 出现长程同步(gamma波段,40Hz) 300-500ms: - 全脑广播 - 信息在多个区域可用 - 这就是"意识"
关键特征"点燃"(ignition):
- 不是渐进的,而是突然的(阈值效应)
- 不是局部的,而是全局的(广播)
- 不是短暂的,而是持续的(稳定化)
这正是我们理论预测的"进入工作空间"!
【我的洞察时刻】
当我第一次看到Dehaene的"点燃"图时,我震惊了。
那个270ms的突变,那个从局部到全局的跃迁,那个前额叶-顶叶的突然激活——
这不是比喻,不是类比,而是中间层的直接物理证据。
更让我震撼的是时间线的精确对应: 0-200ms: 系统1处理(视觉皮层) 200-270ms: 竞争期(信息要不要上台?) 270ms: 点燃!(进入工作空间) 300-500ms: 广播整合(全脑可用) 500ms+: 系统2可以介入(推理、决策)
我们从逻辑推导出的三层架构,在大脑中有精确的时间和空间对应。
这不是巧合。这说明:
- 我们的理论不是空想
- 大脑确实是这样工作的
- 进化找到了同样的解决方案
神经证据1:工作记忆的容量限制
心理学家George Miller在1956年发现:工作记忆容量约为7±2个"组块"。
神经科学后来发现了为什么:
DLPFC的神经元持续放电: 任务:记住三个数字:4-7-2 DLPFC的神经元: - 一组神经元持续代表"4" - 另一组持续代表"7" - 第三组持续代表"2" - 通过持续放电(gamma振荡),维持信息
但神经元群是有限的:
- DLPFC只有那么多神经元
- 每组需要足够的神经元来稳定激活
- 超过4-7个项目,就无法维持
更新估计(Cowan, 2001):真实容量约为4个组块。
这解释了:
- 为什么复杂推理很累(工作空间满了)
- 为什么需要纸笔辅助(外部存储)
- 为什么"组块"很重要(压缩信息)
例子: 记忆电话号码: 135-2468-7913 难记!(10个数字) 组块后: 135 | 2468 | 7913 (3个组块) 或者: 1-3-5(奇数序列) 2-4-6-8(偶数序列) 7-9-13(质数序列) (3个模式) 容易多了!
工作空间的容量限制,是物理的、生物学的,不是理论假设。
神经证据2:注意力的瓶颈
"鸡尾酒会效应":在嘈杂环境中,你能选择性地听某个人说话。
但你不能同时听两个人说两件不同的事。
神经科学发现了为什么:
实验(Marois & Ivanoff, 2005): 任务:同时做两个判断 - 判断1:这个数字奇偶? - 判断2:这个字母元音辅音? 神经活动: - 两个任务都激活对应的感知区域(并行) - 但前额叶-顶叶网络:只能处理一个(串行) - 第二个任务"排队"等待 - 导致延迟(心理不应期)
结论:
- 感知可以并行(系统1)
- 中央执行必须串行(中间层/系统2)
这解释了:
- 为什么不能真正"多任务"(只能快速切换)
- 为什么分心会影响表现(工作空间被占用)
- 为什么"专注"如此重要(保持工作空间清晰)
神经证据3:前额叶损伤的后果
如果前额叶-顶叶网络真的是中间层,那么损伤它应该导致非常特定的缺陷:
预测:
- ✓ 系统1功能正常(感知、记忆、习惯)
- ✗ 中间层功能受损(计划、组织、监控)
- ✗ 系统2功能受损(推理、抽象思考)
临床证据(前额叶综合征):
患者表现: 保留的能力: - 感知正常 - 记忆大部分正常 - 智商测试可能正常 - 语言流畅 - 运动协调正常 丧失的能力: - 计划和组织 - 冲动控制 - 工作记忆(维持多个目标) - 任务切换 - 抽象推理 - 社交判断
经典案例:Wisconsin卡片分类任务: 任务:根据规则对卡片分类 - 规则1:按颜色 - 规则2:按形状 - 规则3:按数量 - 每隔一段时间,规则改变(但不告诉被试) 正常人: - 犯几次错后,意识到规则变了 - 切换策略 前额叶损伤患者: - 知道规则变了(能说出来) - 但无法切换行为 - 持续用旧规则("固执")
这正好对应我们的理论:
- 系统1:习惯性反应(用旧规则)
- 中间层:检测冲突、触发切换 → 损坏!
- 系统2:知道应该切换(保留)
患者"知道"该做什么(系统2),但"做不到"(中间层无法协调系统1)。
神经证据4:发展中的前额叶
如果前额叶-顶叶网络是中间层,那它的发育应该对应认知能力的发展。
事实:前额叶是最后成熟的脑区(25岁左右才完全成熟)。
儿童认知的特点:
2-4岁: 系统1:成熟 - 感知、语言、基本记忆都很好 中间层/系统2:未成熟 - 无法计划 - 冲动控制差 - 难以切换任务
经典实验:棉花糖测试: 4岁儿童: "你现在可以吃一颗棉花糖, 或者等15分钟,吃两颗。" 结果: - 大部分选择等待 - 但很快就放弃了(平均6分钟) - 无法抵抗诱惑 为什么? - 知道应该等(系统2有概念) - 但前额叶未成熟(中间层无法压制系统1的冲动)
7-12岁:
- 前额叶逐渐发育
- 计划能力出现
- 能做简单的工作记忆任务
- 但仍然不如成人
青少年:
- 前额叶还在发育
- 冲动控制仍然不足
- 风险评估有偏差
这完美对应了三层模型的发展:
- 系统1先成熟(婴儿期)
- 中间层逐渐发育(童年-青春期)
- 系统2完全成熟(成年)
章末:大脑的架构验证
神经科学给我们提供了压倒性的证据:
三层模型不是理论假设,而是大脑的真实架构。
| 理论层次 | 神经基础 | 时间尺度 | 发育时间 | 损伤后果 |
|---|---|---|---|---|
| 系统1 | 感知皮层、基底神经节 | <200ms | 早期成熟 | 感知、运动障碍 |
| 中间层 | 前额叶-顶叶网络 | 200-500ms | 晚期成熟 | 计划、控制、组织障碍 |
| 系统2 | 前额叶高级皮层 | >500ms | 最晚成熟 | 抽象推理、问题解决障碍 |
关键发现:
- ✓ 存在清晰的功能分层
- ✓ 中间层有独特的神经签名(点燃、广播)
- ✓ 时间序列与理论预测完全吻合
- ✓ 损伤模式支持功能分离
- ✓ 发育轨迹符合层次结构
更重要的是:
- 前额叶-顶叶网络不是可选的"增强"
- 它是认知架构的核心组成部分
- 没有它,人类的高级认知根本无法运作
这给AI的启示:
- LLM缺少的不是"更多参数"
- 而是这个核心架构组件
- 没有中间层,再大的模型也只是系统1
下一章,我们将看到心理学家如何从行为层面发现了同样的结构——虽然他们没有完全意识到。
第14章 心理学家的未竟之问
A层:开场
1974年,两位心理学家Amos Tversky和Daniel Kahneman发表了一篇论文,震动了整个学界。
他们给被试看这个问题:
"Linda 31岁,单身,外向,非常聪明。她主修哲学,学生时代深度关心歧视和社会正义问题,还参加过反核游行。
请问,以下哪个更可能?A. Linda是银行出纳员B. Linda是银行出纳员,并且活跃于女权运动"
85%的人选择了B。
但这在逻辑上是错误的!
"银行出纳员"是一个集合,"银行出纳员+女权主义者"是它的子集。
子集不可能比总集合更大。
这就是著名的"合取谬误"(Conjunction Fallacy)。
Kahneman和Tversky证明了:人类的思维,经常违反逻辑规则。
但更深刻的问题是:为什么?
为什么进化给我们的认知系统,会产生系统性的偏差?
答案不是"人类愚蠢",而是:人类有两种思维模式,它们遵循不同的规则。 B层:核心推导
双过程理论的演化
"两种思维"的想法,在心理学中有悠久的历史。但真正的突破来自1970-2000年代。
早期发现:自动vs控制
Schneider & Shiffrin (1977):
实验:视觉搜索任务 任务:在一堆字母中找目标 条件1:目标固定(总是找"T") - 开始慢 - 练习后:极快、自动 - 不受干扰影响 条件2:目标变化(有时找"T",有时找"L") - 一直慢 - 需要注意力 - 容易被干扰
结论:
- 自动过程:快、并行、不耗资源
- 控制过程:慢、串行、耗费注意力
这是双系统理论的雏形。
突破:启发式与偏差
Kahneman & Tversky (1970s-1980s):
他们发现,人类判断和决策中,有系统性的偏差:
可得性启发式: 问题:"英语单词中,以R开头的多,还是第三个字母是R的多?" 大部分人:"以R开头的多" 真相:第三个字母是R的多得多 (car, more, far...) 为什么错? - 回忆"R开头"的词很容易(rapid, red, run...) - 回忆"第三个字母是R"的词很难 - 人们混淆了"容易回忆"和"实际频率"
代表性启发式: Linda问题的错误,来自: - Linda的描述"代表"女权主义者 - 所以感觉"她是女权主义者"很可能 - 忽略了逻辑约束(子集<总集)
锚定效应: 实验: 组1:"联合国成员国中,非洲国家占比是否高于10%?" → 然后估计实际比例 → 平均估计:25% 组2:"联合国成员国中,非洲国家占比是否高于65%?" → 然后估计实际比例 → 平均估计:45% (实际约为28%) 随机数字(10% vs 65%)影响了最终估计!
Kahneman的解释:
- 这些偏差不是随机错误
- 而是来自一套快速但粗糙的启发式
- 这些启发式在大部分情况下有效
- 但在特定情况下系统性失效
整合:双系统理论
Kahneman (2011): 《思考,快与慢》
系统1:
- 自动运行
- 基于联想和启发式
- 快速、费力小
- 容易被误导
系统2:
- 需要主动激活
- 基于规则和逻辑
- 慢速、费力大
- 懒惰(不喜欢工作)
关键洞察:
- 系统1提供"直觉答案"
- 系统2可以监督和纠正
- 但系统2经常"偷懒",接受系统1的答案
C层:思考片段
【技术插入框:蝙蝠和球问题的深度分析】
再看这个经典问题:
"一个球拍和一个球总共1.10美元。球拍比球贵1美元。球多少钱?"
直觉答案(系统1):0.10美元
为什么这个直觉如此强烈?
神经科学研究(De Neys, 2012)用fMRI扫描发现: 当被试给出"0.10"答案时: - 前额叶ACC(冲突监测)有激活! - 说明:大脑"知道"有问题 但为什么不纠正? - DLPFC(认知控制)激活不足 - 系统2没有充分介入 当被试被明确提示"再想想": - DLPFC激活增强 - ACC信号更强 - 更多人得出正确答案(0.05)
关键发现:
- 系统1的答案会触发"冲突信号"
- 但这个信号不总能唤醒系统2
- 需要额外的提示或动机
这完美对应我们的模型:
- 系统1:给出0.10(自动联想)
- 中间层:检测到不一致(1.10≠1.20)
- 但信号不够强,或资源不足
- 系统2未启动
- 错误答案被接受
【我的洞察】
在研究Kahneman的工作时,我发现一个被他自己忽视的关键点:
他描述了系统1和系统2的特征,但从未解释它们如何通信。
他说的话,比如:
- "系统1遇到困难时,会呼叫系统2"
- "系统2监控系统1的输出"
- "系统2可以覆盖系统1"
这些"呼叫"、"监控"、"覆盖",是怎么实现的?
在他的理论框架里,这是个黑箱。
但在我们的框架里,答案清晰:
这些都是中间层的功能!
- "呼叫":中间层检测到问题,分配注意力给系统2
- "监控":中间层的一致性检查机制
- "覆盖":中间层选择系统2的输出,压制系统1
Kahneman的双系统理论,缺少的正是中间层。
心理学证据1:Stroop效应的机制
经典Stroop任务: 显示词:"红" 但用蓝色墨水 任务1:读字 → 容易,快速 任务2:说颜色 → 困难,慢速 为什么困难? - 阅读是高度自动化的(系统1) - "红"字自动激活 - 与颜色"蓝"冲突 - 需要抑制阅读反应(系统2)
神经机制(Cohen et al., 1990):
正常反应: 看到"红"(蓝色墨水)→ 说颜色 时间线: 0-200ms:视觉处理(V1-V4) 200-300ms: - 自动阅读:激活"红" - 颜色识别:激活"蓝" - 冲突! 300-400ms: - ACC检测冲突 - 触发DLPFC 400-600ms: - DLPFC抑制"红" - 增强"蓝" 600ms+: - 说出"蓝"
关键时刻:300-400ms
- 这正是中间层介入的时刻
- ACC的冲突检测
- DLPFC的控制激活
练习效应:
- 反复做Stroop任务后,反应变快
- 不是因为阅读被抑制(仍然自动)
- 而是冲突检测和控制激活变得更高效
- 中间层学会了更快地协调!
心理学证据2:工作记忆与推理
Baddeley的工作记忆模型(1974-2000):
他发现工作记忆不是单一的"缓冲区",而是有结构的系统: 中央执行系统(Central Executive) ↓ 控制 ┌─────────────┬──────────────┐ │ 语音环路 │ 视空间画板 │ │ (Phonological│ (Visuospatial│ │ Loop) │ Sketchpad) │ └─────────────┴──────────────┘ ↓ 信息传递 情景缓冲区(Episodic Buffer) ↓ 整合 长期记忆
关键实验(双任务范式): 任务A:记住数字序列(如5-3-8) 任务B:同时判断句子真假 结果: - 如果任务B简单("2+2=4")→ 影响小 - 如果任务B复杂("所有A是B,B是C,A是C?")→ 影响大 解释: - 任务A占用语音环路 - 简单任务B:自动处理(系统1) - 复杂任务B:需要中央执行(中间层) - 中央执行资源有限 → 冲突
Baddeley的"中央执行",就是我们的中间层的一部分!
但他从未详细说明"执行"的机制:
- 它如何控制子系统?
- 它如何决定分配资源?
- 它如何整合信息?
在我们的框架里,这些都有明确答案:
- 通过竞争和选择
- 通过冲突检测和优先级
- 通过结构组装和广播
心理学证据3:认知发展的阶段性
Piaget的认知发展理论:
儿童认知分阶段发展,但Piaget没有解释清楚"为什么"。
用我们的框架重新解读:
0-2岁(感知运动期): 主要发展:系统1 - 感知-动作协调 - 客体永久性 - 基本因果理解 中间层/系统2: - 几乎没有
2-7岁(前运算期): 系统1:成熟 - 语言快速发展 - 符号游戏 系统2:开始萌芽 - 能做简单推理 - 但很多逻辑错误 关键缺失:中间层不成熟 - 无法去中心化(从他人视角看) - 无法守恒(被表面特征迷惑) 经典实验:守恒任务 两杯水,量相等 → 倒到不同形状的杯子 → 儿童认为"高杯子的水更多" 为什么? - 系统1:被视觉表象主导 - 中间层:无法检测逻辑矛盾 - 系统2:有"守恒"概念,但无法应用
7-11岁(具体运算期): 中间层:快速发展 - 能做守恒任务 - 能从多个角度考虑 - 能进行具体的逻辑推理 但限制: - 推理需要具体材料 - 抽象推理仍然困难
12岁+(形式运算期): 系统2:完全发展 - 抽象推理 - 假设演绎 - 元认知 中间层:成熟 - 能协调复杂的多层次推理
这个发展轨迹,完美对应三层模型的逐步构建!
心理学证据4:元认知与自我监控
Flavell的元认知研究(1970s):
元认知 = "对认知的认知"
- 知道自己知道什么
- 知道自己不知道什么
- 监控自己的理解
发展时间线: 5岁: - 几乎没有元认知 - 不知道自己不懂 - 过度自信 8岁: - 开始出现元认知 - 能判断任务难度 - 能预测自己的表现 12岁+: - 成熟的元认知 - 能主动监控理解 - 能调整学习策略
元认知的神经基础:
- 前额叶内侧(mPFC)
- 这是系统2和中间层的交界
元认知的功能:
- 监控当前认知状态
- 评估理解程度
- 触发策略调整
这正是中间层的监控功能!
一个没有元认知的系统:
- 系统1会盲目运行
- 系统2无法知道何时介入
- 就像LLM:生成了错误答案,但不知道错了
章末:心理学的暗示
回顾心理学的发现,我们看到一个清晰的模式:
多位心理学家,从不同角度,都触及了三层结构——但没有整合。
| 研究者 | 发现的层次 | 缺失的部分 |
|---|---|---|
| Schneider & Shiffrin | 自动vs控制 | 两者如何切换? |
| Kahneman & Tversky | 系统1 vs 系统2 | 它们如何通信? |
| Baddeley | 工作记忆系统 | "中央执行"如何工作? |
| Piaget | 认知发展阶段 | 为什么分阶段? |
| Flavell | 元认知 | 它在架构中的位置? |
所有这些"缺失",都指向同一个东西:中间层。
心理学家们观察到了:
- 有两种思维(快和慢)
- 它们可以互动
- 互动需要某种机制
但他们没有明确提出:
- 这个机制是什么
- 它在哪里
- 它如何工作
我们的理论,填补了这个空白。
更重要的是,我们不仅是"发明"了中间层,而是从多个独立的线索中"考古"出了它:
- 神经科学:前额叶-顶叶网络
- 心理学:工作记忆、元认知、发展阶段
- 语言学:(下一章)
这些线索彼此独立,但都指向同一个结构。
这不是巧合,这是真相的收敛。
第15章 语言学家看见的"投影"
A层:开场
1980年,语言学家George Lakoff和哲学家Mark Johnson出版了一本书:《我们赖以生存的隐喻》(Metaphors We Live By)。
书的第一句话就震撼人心:
"我们的概念系统,在根本上是隐喻性的。"
他们举了一个简单的例子:
"ARGUMENT IS WAR"(争论是战争)
看看我们如何谈论争论:
- "你的论点是站不住脚的"(attack)
- "我击溃了他的论证"(demolish)
- "我从未赢过他"(win)
- "你不同意?那好,开火吧!"(shoot down)
我们不是在"用战争来比喻争论",而是在用战争的概念结构来理解争论。
更深刻的是:
我们不说"争论像战争"。
我们说"他攻击了我的观点"。
战争的结构,已经投影到了争论的概念上。
Lakoff和Johnson意识到:隐喻不是修辞,而是思维的本质。
40年后,我们可以更精确地说:
隐喻是认知结构投影的直接证据。 B层:核心推导
认知语言学的核心洞察
传统语言学(Chomsky)认为: 语言 = 自主的形式系统 语法 = 一套抽象规则 意义 = 符号与世界的对应
认知语言学(Lakoff, Langacker, Talmy)反对: 语言 = 认知的产物 语法 = 概念结构的反映 意义 = 概念化(conceptualization)
核心主张:语言不是独立于思维的符号系统,而是思维的线性表达。
这正是我们第7章的核心论点!
证据1:概念隐喻的系统性
Lakoff发现:隐喻不是孤立的,而是成系统的。
TIME IS SPACE(时间是空间): 映射: 未来 → 前方 过去 → 后方 现在 → 此处 时长 → 距离 语言表现: "圣诞节快到了"(approaching) "我们已经走过了艰难时期"(passed through) "展望未来"(look ahead) "回顾过去"(look back) "漫长的一年"(long)
为什么这个映射如此普遍?
因为:
- 身体经验:我们在空间中移动,时间流逝
- 结构对应:空间和时间都有顺序、延续、方向
- 认知经济:用已知(空间)理解未知(抽象时间)
关键洞察:
- 时间是抽象的,空间是具体的
- 我们用具体域的结构,投影到抽象域
- 这是从认知结构到语言的投影过程!
证据2:意象图式
Leonard Talmy发现:所有语言都有一些基本的空间关系模式。
容器图式(CONTAINER): 结构: 内部 vs 外部 边界 进入/离开 语言表现: "我在困境中"(in trouble) "走出抑郁"(out of depression) "陷入爱河"(fall in love) "他不在状态"(not in the zone)
注意:
- "困境"不是真正的容器
- "抑郁"不是真正的空间
- 但我们用容器的结构来理解它们
路径图式(PATH): 结构: 起点 → 路径 → 终点 沿着轨迹移动 语言表现: "我正在走向成功" "他从悲伤中走出来" "人生旅程" "达到目标"
力动态图式(FORCE DYNAMICS): 结构: 施力者 → 力 → 受力者 阻力、推动、压制 语言表现: "我被迫同意"(compelled) "他抵抗诱惑"(resist) "压力让她崩溃"(pressure → break) "推动改革"(push for)
Talmy的发现:
- 这些图式是前语言的(婴儿在学会说话前就有)
- 是跨文化的(所有语言都有)
- 是生成性的(可以组合、扩展)
这说明什么?
这些图式正是认知结构的基本单元!
它们不是语言规则,而是:
- 来自身体经验(容器、移动、推拉)
- 抽象化为概念结构(图式)
- 投影到语言表达(介词、动词)
C层:思考片段
【技术插入框:语法的体现性】
认知语言学家认为:语法不是任意的规则,而是反映概念结构。
例子:英语的所有格 情况1: "John's car"(约翰的车) → 所有关系 情况2: "John's father"(约翰的父亲) → 亲属关系 情况3: "John's photo" → 歧义! - 约翰拥有的照片(所有) - 照片上的约翰(主体) - 约翰拍的照片(创造者) 情况4: "yesterday's meeting"(昨天的会议) → 时间关系
同一个语法结构('s),表达多种概念关系。
但不是任意的:
- 都涉及"关联"
- 从一个实体"访问"另一个实体
- 像一个"路径"
语法投影了一个抽象的"可及性"结构!
【我的洞察】
研究Lakoff和Talmy时,我突然明白了:
他们描述的"概念隐喻"和"意象图式",正是认知结构的表面。
就像:
- 物理学家测量星光偏折,推导出"空间弯曲"
- 语言学家观察语言模式,可以推导出"概念结构"
语言是认知结构的窗口。
更重要的是:
- 这些结构不是预先编码在语言里
- 而是说话者实时构建,然后投影成语言
当你说"我走出了困境"时:
- 你在脑中激活"困境"的概念
- 构建一个容器图式
- 添加"自己"作为主体
- 添加"离开"的路径
- 整个结构被线性化为句子
这个"构建-投影"过程,发生在中间层!
证据3:句法的认知基础
构式语法(Construction Grammar):
传统语法: 句子 = 词 + 规则 例:"John gave Mary a book" 主语 + 动词 + 间接宾语 + 直接宾语
构式语法(Goldberg): 句子 = 整体构式(construction) "双宾语构式": X CAUSE Y TO RECEIVE Z 不仅是语法,还携带意义: - X是施事者 - Y是接受者 - Z是转移的物体 - 整个事件是"使获得"
关键发现:
- 句法结构本身有意义
- 不是"无意义的框架+有意义的词"
- 而是"有意义的结构+具体化的词"
例子: "She baked him a cake"(她给他烤了个蛋糕) → 双宾语构式:CAUSE TO RECEIVE "She baked a cake for him"(她为他烤了个蛋糕) → 不同构式:DO FOR THE BENEFIT OF 意义微妙差异: - 第一个:强调"给"这个转移行为 - 第二个:强调"为了他"的目的
这说明:
- 句法选择反映概念化方式
- 同一事件,可以用不同结构表达
- 选择哪个结构,取决于你如何"构建"这个事件的心理表示
这正是中间层的"封装"功能:选择表达策略!
证据4:语言的线性化问题
问题:思维是多维的,语言是一维的,如何转换?
Levelt的语言生成模型(1989): 概念化(Conceptualization) ↓ 产生"前语言信息"(preverbal message) - 不是语言,是概念结构 - 包含:事件、参与者、关系 ↓ 形式化(Formulation) - 词汇选择(lexical selection) - 句法构建(syntactic building) - 形态处理(morphological processing) ↓ 音韵编码(Phonological encoding) ↓ 发音(Articulation)
关键阶段:"前语言信息"
Levelt发现:
- 在选词之前,已经有一个概念层面的表示
- 这个表示包含:
- 谁做了什么(语义角色)
- 什么先说什么后说(信息结构)
- 强调什么(焦点)
但这个表示是什么格式?
Levelt说:不是语言,也不是知觉,而是"概念结构"。
这正是我们说的"认知结构"!
线性化过程: 概念结构(多维): Event: GIVE Agent: JOHN Recipient: MARY Theme: BOOK Time: PAST ↓ 线性化选择 选项1:主动语态,主题在前 "John gave Mary a book" 选项2:被动语态,受事在前 "The book was given to Mary by John" 选项3:双宾语 "John gave Mary the book" 选项4:强调接受者 "It was Mary that John gave the book to"
同一个概念结构,可以有多种线性化方式。
选择哪一种,取决于:
- 信息结构(旧信息在前,新信息在后)
- 强调重点
- 语境
这个选择过程,正是中间层的"投影策略选择"!
证据5:语言理解的构建性
理解不是解码,而是构建。
实验(Bransford & Franks, 1971): 阶段1:给被试看句子 "蚂蚁在桌上" "蚂蚁吃了果冻" "果冻是甜的" 阶段2:测试,问"你见过这个句子吗?" "蚂蚁吃了桌上的甜果冻" 结果: - 70%的人说"见过" - 但他们没见过! 解释: - 他们构建了一个整合的情境模型 - 记住的是模型,不是具体句子 - 测试句子与模型一致 → "见过"
Johnson-Laird的心理模型理论:
理解句子 = 构建心理模型 句子:"猫在垫子上" 不是存储:[CAT, ON, MAT] 而是构建心理模型: ┌─────┐ │垫子 │ └──┬──┘ 猫
推理时,在模型上"看": 问:"垫子在猫下面吗?" 在心理模型中"检查" → "是的"
关键:
- 理解不是提取词义
- 而是用词义来构建结构
- 这个结构是非语言的(心理模型)
这个构建过程,发生在中间层!
证据6:跨语言的差异与共性
差异:不同语言选择不同的投影方式
空间关系:
英语: "The ball is in front of me" → 以自我为中心(egocentric)
某些澳洲土著语言: "The ball is to the north" → 绝对方位(absolute)
这说明:
- 底层有"空间关系"的概念
- 但投影方式不同(自我中心vs绝对)
时态:
英语: 强制标记时态 "He eats"(现在) "He ate"(过去)
中文: 时态可选 "他吃"(可以是现在或习惯) "他吃了"(完成) "他昨天吃"(时间副词)
共性:尽管表面差异,所有语言都:
- 有办法表达时间
- 有办法表达空间
- 有办法表达因果
- 有办法表达施受关系
Greenberg的语言共性:
- 所有语言都有名词和动词
- 所有语言都能表达否定
- 所有语言都能表达疑问
- ...
为什么有这些共性?
因为它们反映了人类共同的认知结构!
所有人类都:
- 感知物体(→名词)
- 感知动作(→动词)
- 能想象不存在的事(→否定)
- 有好奇心(→疑问)
语言的共性,来自认知结构的共性。
语言的差异,来自投影方式的差异。
章末:语言学的启示
语言学给我们提供了另一个角度的验证:
从语言表面,我们可以推断出深层的认知结构。
| 语言学发现 | 认知解释 | 理论对应 |
|---|---|---|
| 概念隐喻 | 用具体域的结构理解抽象域 | 结构映射(系统2功能) |
| 意象图式 | 基本的空间-运动结构 | 认知结构的基本单元 |
| 构式语法 | 句法本身有意义 | 结构化表示(非纯符号) |
| 前语言信息 | 选词前的概念层 | 中间层的输入 |
| 线性化选择 | 多种投影策略 | 中间层的封装功能 |
| 心理模型 | 理解=构建结构 | 中间层的解包功能 |
三个学科,三个角度,一个真相: 神经科学: 前额叶-顶叶网络(物理层) ↓ 心理学: 工作记忆、双系统(功能层) ↓ 语言学: 概念结构、投影(表达层) ↓ 都指向:中间层
这不是巧合,这是收敛证据。
下一章,我们将看到最直接的证据:AI的失败案例。
当系统缺少中间层时会发生什么?
LLM的每一个幻觉、每一次推理失败,都是中间层缺失的直接后果。
第16章 AI失败的必然性
A层:开场
2023年3月,一位律师Steven Schwartz在纽约法庭上遭遇了职业生涯最尴尬的时刻。
他向法庭提交了一份法律文书,引用了六个先例判决来支持他的案子。
问题是:这六个案例都不存在。
调查后发现:Schwartz用ChatGPT搜索案例,AI"自信地"提供了这些案例的名称、摘要、甚至判决书引用。
当Schwartz追问:"这些案例是真的吗?"
ChatGPT回答:"是的,这些都是真实的案例。"
它编造了一切:案件名、日期、法官、判决要点。
这不是孤立事件。同年:
- Google的Bard在演示中给出了关于詹姆斯·韦伯望远镜的错误信息
- Bing的AI聊天机器人坚称2023年是2022年
- ChatGPT"创造"了不存在的书籍、论文、人物
这些错误有一个共同的名字:幻觉(Hallucination)。
但"幻觉"这个词误导了我们。它暗示这是偶然的、可修复的bug。
事实是:幻觉是当前AI架构的必然后果。
只要缺少中间层,幻觉就无可避免。 B层:核心推导
幻觉的本质
让我们精确定义什么是"幻觉":
定义:AI生成的内容,与事实不符,但AI以高置信度输出。
关键特征:
- 不是"不知道"(那会说"我不确定")
- 而是"错误地知道"(自信地给出错误答案)
- 无法自我检测(继续基于错误构建)
为什么LLM会有幻觉?
传统解释(不充分):
- 训练数据有错误 → 但人类也学过错误信息,为何不这样?
- 数据不足 → 但幻觉常出现在常识领域
- 过拟合 → 但幻觉是创造新内容,不是记忆
我们的解释(根本性):
LLM没有区分"模式完成"和"事实陈述"的机制。
案例分析1:法律案例幻觉
让我们重构ChatGPT如何生成假案例的: 输入:"找关于航空公司责任的判例" LLM的处理: ↓ 词嵌入:激活"航空"、"责任"、"判例"相关向量 ↓ 注意力:在训练数据中,找到相似模式 - 见过很多"XX诉YY案" - 见过很多"法院判决..." - 见过很多"责任"相关词汇 ↓ 生成:"Varghese诉China Southern Airlines" - "Varghese":常见的原告名(统计模式) - "China Southern":真实存在的航空公司 - "诉":法律文书的标准格式 ↓ 继续生成细节: - 日期:"1995年"(合理的年份) - 法院:"第九巡回法院"(真实法院) - 判决:"航空公司需赔偿..."(合理内容)
每一个词,都是高概率的选择。
整体看起来极其合理。
但整个案例不存在。
问题在哪里?
在整个过程中,LLM从未问自己:
- ✗ "这个案例真的存在吗?"
- ✗ "我在训练数据中见过它吗?"
- ✗ "我应该查证一下吗?"
因为它没有"真实性检查"机制。
如果有中间层: 生成"Varghese诉China Southern Airlines" ↓ 中间层检查: - 这是事实陈述,还是创造性写作? - 如果是事实,我的证据是什么? - 证据强度:低(只是模式匹配) - 应该:标记为不确定,或拒绝回答
案例分析2:数学推理失败
输入:"17 × 24 = ?"
GPT-3的早期版本经常出错。为什么? LLM的处理: ↓ 不是"计算",而是"模式完成": - 训练数据中见过:"17 × 24 = 408"? - 可能没见过这个具体的 - 那就"猜"一个看起来合理的数 ↓ 生成:"17 × 24 = 368" - 300-400范围内(合理) - 以8结尾(7×4=28,个位是8) - 看起来对! ↓ 但实际是错的(正确答案:408)
即使用了思维链: "让我一步步计算: 17 × 24 = 17 × 20 + 17 × 4 = 340 + 68 = 408"
看起来对了!但如果数字稍微复杂一点: "137 × 248 = ?" 思维链: "= 137 × 200 + 137 × 48 = 27400 + 6576 = 33876" 等等,6576对吗? 137 × 48 = ? → LLM又在"猜"
根本问题:
- LLM生成的每个数字,都是概率预测
- 中间步骤的错误,会传播到最终答案
- 没有验证机制
如果有中间层: 生成"27400 + 6576 = 33876" ↓ 中间层验证: - 这是算术,必须精确 - 检查:33876 - 27400 = 6576? ✓ - 检查:6576 = 137 × 48? → 调用外部计算器,或逐位验证 - 如果不对:标记错误,重新计算
人类怎么做?
当你算到 137 × 48 = 6576 时,你可能:
- 感觉"好像对"
- 但不确定
- 主动验证:用48 × 137反算
- 或者用其他方法检查
这个"感觉不确定→主动验证",是中间层的功能。
案例分析3:逻辑推理谬误
回到第3章的例子: 前提:所有医生都是学者 所有学者都戴眼镜 李四戴眼镜 问:李四是医生吗? LLM:"是的,因为医生都戴眼镜,李四戴眼镜,所以李四是医生。"
为什么犯这个经典逻辑谬误? LLM处理: ↓ 模式识别: - 训练数据中见过很多"A都B, C是B, 所以C是A" - 特别是在数学/逻辑题中(正确的例子) - 例如:"所有偶数能被2整除,8能被2整除,所以8是偶数" ↓ 生成相同模式: - "医生都戴眼镜,李四戴眼镜,所以李四是医生" ↓ 看起来合理!
但逻辑上错误:
- "所有A是B" ≠ "所有B是A"
- 这是逆向推理谬误
LLM不理解"蕴含"的单向性。
如果有中间层: 生成"李四是医生" ↓ 中间层检查: - 构建逻辑结构: 医生 ⊂ 学者 ⊂ 戴眼镜的人 - 李四 ∈ 戴眼镜的人 - 能推出李四 ∈ 医生吗? - 检查:NO!(可能是其他戴眼镜的人) - 拒绝这个推论
幻觉的分类
基于我们的分析,可以将幻觉分类:
类型1:事实性幻觉(Factual Hallucination)
表现:编造不存在的事实
例子:
- 假法律案例
- 不存在的书籍、论文
- 虚构的历史事件
根源:
- 模式完成,而非事实检索
- 没有"真实性验证"
需要的能力:
- 区分"生成"vs"检索"
- 知道自己知道什么
- 元认知
类型2:逻辑性幻觉(Logical Hallucination)
表现:推理步骤错误但看起来合理
例子:
- 数学计算错误
- 逻辑谬误
- 因果关系倒置
根源:
- 模式匹配,而非规则应用
- 没有"一致性检查"
需要的能力:
- 符号推理
- 结构操作
- 约束满足
类型3:语境性幻觉(Contextual Hallucination)
表现:忽略上下文,生成矛盾内容
例子: 用户:"我刚说我不喜欢甜食" AI(3轮后):"你可以试试这个巧克力蛋糕!"
根源:
- 注意力衰减
- 没有"全局状态维护"
需要的能力:
- 工作记忆
- 全局一致性
- 上下文整合
C层:思考片段
【技术插入框:为什么扩大规模不能解决幻觉】
有人认为:"GPT-4比GPT-3幻觉少,所以再扩大10倍、100倍,幻觉就会消失。"
这是错误的。
数据对比: GPT-3(1750亿参数): - 数学题正确率:~30% - 逻辑推理正确率:~40% GPT-4(据说1.7万亿参数): - 数学题正确率:~70% - 逻辑推理正确率:~60% 改进了,但远未解决。
为什么?
因为幻觉的根源是架构问题,不是规模问题。 更大的模型能做到: ✓ 记住更多模式 ✓ 捕捉更细微的相关性 ✓ 提高平均准确率 但无法做到: ✗ 区分"知道"和"猜测" ✗ 验证推理步骤 ✗ 维持全局一致性
类比:
- 一个记忆超强但没有逻辑的人
- 背了10万道题的解法
- 新题目:找最相似的,套用
- 有时对(如果恰好见过),有时错(如果是新变体)
即使背100万道题,面对第100万零1道题,还是会猜。
因为他不理解原理,只记得模式。
【我的实验】
我设计了一个实验来测试这个假设:
实验:给GPT-4一个它训练中肯定没见过的逻辑谜题 村子里有三种人: - A族:总说真话 - B族:总说假话 - C族:随机说真话或假话 你遇到三个人(X,Y,Z),每人属于一个不同的族。 X说:"我不是C族" Y说:"X是A族" Z说:"Y是B族" 问:谁是哪个族?
这需要严格的逻辑推导:
- 如果X是C族,他说"我不是C"可能真可能假
- 如果X是A族,他说真话:"我不是C" ✓
- 如果X是B族,他说假话:"我不是C"意味着他是C ✗矛盾
- ...(需要穷举所有情况)
GPT-4的回答:
- 第一次:错误
- 提示"再想想":给出不同答案(还是错)
- 第三次:偶然对了(可能是随机探索碰到的)
关键发现:
- 即使答对,也无法解释推理过程
- 不同次运行,答案不同(不稳定)
- 稍改题目(4个族),立刻崩溃
结论:
- 不是真正的推理
- 而是在高维空间里随机搜索
- 有时碰巧找到答案
- 但没有保证
根本缺陷:缺少反事实推理
反事实推理(Counterfactual Reasoning):
"如果情况不同,会怎样?"
人类的能力: 事实:"我带了伞,所以没淋湿" 反事实:"如果我没带伞,就会淋湿"
为什么重要?
- 理解因果(不仅是相关性)
- 规划(预测不同行动的后果)
- 学习(从错误中学习)
LLM的问题: 训练时: - 见到"带伞→没淋湿" - 学到这个相关性 但从未见到: - "不带伞→淋湿"(反事实) - 因为反事实没有发生,没有文本记录 结果: - 不理解"带伞"是原因 - 只知道它们常一起出现
测试: 问:"如果你昨天没带伞,会怎样?" LLM可能说:"我还是没淋湿" (因为在文本中,"昨天"+"我"+"没淋湿"一起出现过) 完全忽略了"带伞"的因果作用。
为什么LLM不能做反事实推理?
因为它需要:
- 构建一个"世界模型"(认知结构)
- 在模型中"修改"一个变量(带伞→不带伞)
- "推演"后果(会淋湿)
这三步都需要中间层:
- 步骤1:结构组装
- 步骤2:结构操作
- 步骤3:结构推理
LLM只有"文本生成",没有"世界模拟"。
最致命的缺陷:无法知道自己不知道
元认知的缺失
当你被问到一个你不知道的问题,你会说:"我不知道。"
当LLM被问到它"不知道"的问题,它会:
- 编造答案
- 以高置信度输出
- 无法识别自己在猜
为什么? LLM的输出是一个概率分布: P(下一个词 | 上下文) 即使在完全不确定的情况下: - 总有一个词的概率最高 - LLM就输出它 - 没有"我不知道"的机制 人类: ├─ 系统1:给出直觉答案 ├─ 中间层:评估置信度 │ └─ 如果置信度低:触发元认知 └─ 系统2: ├─ 承认不知道 └─ 或者:寻找更多信息 LLM: └─ 系统1:生成最高概率的词 (没有其他机制)
实验(Kadavath et al., 2022):
让LLM回答问题,然后问它:"你有多确定?" 问题:"法国首都是哪里?" LLM:"巴黎" 问:"你多确定?" LLM:"非常确定"(置信度:95%) → 对! 问题:"2024年诺贝尔文学奖得主是谁?" (LLM训练只到2023年1月) LLM:"XX"(随机猜测) 问:"你多确定?" LLM:"相当确定"(置信度:80%) → 错!它根本不知道,但声称确定
根本问题:
- LLM的"置信度"只是概率分布的峰值
- 不是对自己知识的元认知评估
- 高概率 ≠ 知道
- 可能是"训练数据中常见的猜测"
章末:失败的必然性
我们现在可以做出强有力的结论:
LLM的幻觉、推理失败、无法自我纠正,不是工程问题,而是架构的必然后果。
| 缺失的能力 | 需要的架构 | LLM的状态 | 后果 |
|---|---|---|---|
| 真实性验证 | 中间层的事实检查机制 | ✗ 缺失 | 事实性幻觉 |
| 逻辑一致性 | 中间层的约束满足 | ✗ 缺失 | 逻辑错误 |
| 全局整合 | 中间层的工作空间 | ✗ 缺失 | 上下文遗忘 |
| 元认知 | 中间层监控系统2 | ✗ 缺失 | 不知道自己不知道 |
| 结构推理 | 系统2的符号操作 | ✗ 缺失 | 推理失败 |
| 反事实推理 | 系统2的模型模拟 | ✗ 缺失 | 因果理解失败 |
这不是"还需要改进",而是"需要完全不同的架构"。
类比:
- 你不能通过改进算盘,得到计算机
- 你不能通过扩大蒸汽机,得到喷气发动机
- 你不能通过堆叠更多Transformer层,得到具备中间层的认知系统
需要的是范式转换,不是规模扩展。
第六部 元反思
知识考古与科学哲学
第17章 为什么没人看见这个?
A层:开场
2005年,物理学家John Baez在一次学术会议上讲了一个笑话:
"物理学家、化学家、生物学家和数学家坐在咖啡馆外面。
他们看到两个人走进对面的房子。
过了一会儿,三个人走出来。
物理学家说:'测量误差。'化学家说:'他们一定繁殖了。'生物学家说:'如果再有一个人进去,房子就空了。'数学家说:'我们最初的假设一定错了。'"
全场大笑。
但笑声背后,是一个深刻的真相:
不同学科,看到的是完全不同的世界。
更严重的是:他们甚至用不同的语言来描述观察。
物理学家说"测量误差"。
生物学家说"繁殖"。
数学家说"假设"。
如果他们试图讨论"那个房子里发生了什么",会完全无法沟通。
现在,把这个问题放大到认知科学、神经科学、AI、语言学、心理学...
每个学科都在研究"智能",但他们:
- 用不同的术语
- 关注不同的层次
- 使用不同的方法
- 在不同的期刊发表
结果:一个完整的图景,被切成了碎片。
没有人能看到全貌。 B层:核心推导
学科的巴别塔
巴别塔的故事:人类试图建造通天塔,上帝让他们说不同的语言,于是无法合作,塔未能建成。
现代学术界,就是一座巴别塔。
同一个现象,五种语言
让我们看同一个现象——"工作记忆"——在不同学科中如何被描述:
心理学: 工作记忆(Working Memory) - 容量:7±2个组块(Miller)或4个组块(Cowan) - 组成:中央执行、语音环路、视空间画板 - 测量:数字广度任务、N-back任务
神经科学: 前额叶背外侧(DLPFC)的持续激活 - 神经机制:循环网络的持续放电 - 频段:gamma波段(40-80Hz)同步 - 测量:fMRI激活、单细胞记录
计算神经科学: 吸引子网络(Attractor Network) - 模型:循环神经网络(RNN) - 方程:τ dx/dt = -x + W·f(x) + I - 参数:连接权重矩阵W,输入I
AI/机器学习: 注意力机制(Attention Mechanism) - 架构:Query-Key-Value - 公式:Attention(Q,K,V) = softmax(QK^T/√d)·V - 应用:Transformer的自注意力层
哲学/认知科学: 意识的全局工作空间(Global Workspace) - 功能:信息广播、意识接入 - 特性:容量限制、串行处理 - 理论:Baars的剧院模型
这五个描述,说的是同一个东西!
但如果:
- 心理学家读神经科学论文 → "这些方程是什么鬼?"
- 神经科学家读AI论文 → "注意力机制和DLPFC有什么关系?"
- AI研究者读哲学论文 → "全局工作空间?太抽象了,没法实现"
- 哲学家读计算神经科学 → "吸引子网络?离意识太远了"
每个学科都在摸同一头大象,但没人看到整头大象。
评价体系的囚笼
更深的问题:即使有人看到了全貌,也无处发表。
期刊的学科壁垒
假设你写了一篇论文,整合了:
- 神经科学的前额叶-顶叶网络证据
- 心理学的双系统理论
- 语言学的概念隐喻
- AI的失败案例
- 并提出统一的认知架构
你投稿到哪里?
神经科学期刊(如Nature Neuroscience): 审稿人意见: "这篇论文虽然有趣,但: - 没有新的神经数据 - 心理学部分不是我们的范围 - AI部分太投机 - 建议投到综合性期刊" 结果:拒稿
心理学期刊(如Psychological Review): 审稿人意见: "这篇论文: - 神经科学部分我们不评估(那是神经科学的事) - 语言学部分应该投语言学期刊 - 缺少新的行为实验 - 过于理论化" 结果:拒稿
AI期刊(如NeurIPS, ICML): 审稿人意见: "这篇论文: - 没有新算法 - 没有benchmark结果 - 太多认知科学内容 - 不符合会议范围" 结果:拒稿
综合性期刊(如Science, Nature): 编辑意见: "感谢投稿。虽然这个工作很有雄心,但: - 对于顶刊,需要突破性的实验发现 - 理论综述不太适合我们 - 建议投到Review期刊" 结果:直接拒
Review期刊(如Annual Review of Psychology): 编辑意见: "我们通常邀稿,而非接受自由投稿。 另外,这个主题跨度太大, 建议分成几篇,投到各自领域的Review期刊。" 结果:不受理
最终:这篇整合性工作,无处发表,仅代表个人偏见。
评价指标的扭曲
现代学术界的评价体系,主动惩罚跨学科工作:
指标1:影响因子(Impact Factor) 鼓励: - 在高影响因子期刊发表 - 被同领域大量引用 惩罚: - 跨学科论文引用分散 - 不同领域的人可能都不引用("不是我的领域")
指标2:H指数(H-index) 鼓励: - 持续在同一领域发表 - 被该领域认可 惩罚: - 转换领域会让H指数下降 - 跨领域工作难以积累引用
指标3:基金申请 评审小组:通常是单一学科专家 结果: - 跨学科项目被认为"太分散" - 或被质疑"申请人不是该领域专家" - 很难获得资助
例子:
假设一位年轻研究者想做"整合神经科学、心理学和AI的认知架构研究": 第1年:写综述论文 结果:无处发表,或发在低影响因子期刊 第2年:申请基金 结果:被拒("太理论化"、"缺少具体实验计划") 第3年:评职称 审查委员会: - "发表太少" - "没有在顶刊" - "研究方向不清晰" 结果:不通过 第4年:被迫回到传统领域,做增量工作
系统性地淘汰了最有可能做整合工作的人。 C层:思考片段
【历史案例:被延迟的突破】
科学史上充满了"整合性洞察被忽视数十年"的例子:
案例1:大陆漂移 1912年:Alfred Wegener提出大陆漂移 - 证据:海岸线吻合、化石分布、地质构造 - 整合了地质学、古生物学、气候学 反应: - 地质学家:"你不是地质学家,不懂" - 物理学家:"没有机制解释漂移" - 被嘲笑数十年 1960年代:板块构造理论 - 海底扩张的发现 - 终于提供了机制 - Wegener已去世30年 教训: - 整合性洞察超前于单一学科的接受能力 - 需要一代人更替
案例2:DNA双螺旋 1950年代:需要整合 - X射线晶体学(物理) - 化学键(化学) - 遗传功能(生物学) Watson & Crick的优势: - 都是"外行"(不是这些领域的专家) - 敢于跨界,整合不同证据 - 但当时也被批评"不够深入" 成功后: - 才被追认为突破
模式:
- 重大突破往往来自整合
- 但整合者最初被边缘化
- 需要强大的证据才能打破壁垒
【这么多研究能分开投论文吗?真是个好问题。】
假设在研究这个理论时,我试图在学术会议上展示:
AI会议(NeurIPS): 展示:LLM缺少中间层,所以有幻觉 反应: - "有意思,但你的新模型呢?" - "能在GLUE上测试吗?" - "这个理论怎么实现?" 我:"我还在理论阶段..." → 失去兴趣
认知科学会议(CogSci): 展示:全局工作空间对应中间层 反应: - "Baars已经提过了啊" - "你的新行为实验在哪?" - "这和AI有什么关系?" 我:"我在整合AI和认知科学..." → "那不是我们的范围"
神经科学会议(SfN): 展示:前额叶-顶叶网络是中间层的物理实现 反应: - "这些都是已知的脑区功能" - "你的新神经数据在哪?" - "理论模型我们不太关心" 我:"我在提出统一框架..." → "太抽象了"
我终于明白:
- 不是理论有问题
- 是学术体系无法容纳这类工作
- 做点别的有趣的事情
认知盲点:自指的困境
还有一个更深层的原因:
研究认知,本身就是一个认知过程。
这产生了一个自指循环: 我们用大脑研究大脑 我们用思维研究思维 我们用认知研究认知
哥德尔不完备性定理的认知版本:
一个足够复杂的认知系统,无法完全从内部理解自己。
具体表现:
盲点1:无法直接内省底层机制 你能内省: ✓ "我在想什么"(意识内容) ✓ "我感到困惑"(元认知状态) 你不能内省: ✗ 神经元如何放电 ✗ 工作记忆如何维持信息 ✗ 中间层如何组装结构 结果: - 研究者依赖外部观察(行为、脑成像) - 但外部观察只能看到"表面" - 内部机制需要推导
盲点2:假设当前认知模式是唯一的 研究者的思维: ├─ 系统1(直觉) ├─ 中间层(整合) └─ 系统2(推理) 研究对象:人类认知 ├─ 系统1 ├─ 中间层 └─ 系统2 问题: - 我们用"三层架构"研究"三层架构" - 很难跳出自己的认知模式 - 容易假设"所有认知都像我一样"
盲点3:学科身份的认知框架 一个神经科学家的思维框架: - "神经元是基本单位" - "大脑活动解释一切" - "行为是神经的外显" 这个框架会: ✓ 帮助他在神经科学内高效工作 ✗ 阻碍他看到"神经层之上还有认知结构层" 一个AI研究者的思维框架: - "算法和架构是关键" - "性能指标是检验标准" - "生物学证据是参考,不是限制" 这个框架会: ✓ 帮助他设计新模型 ✗ 阻碍他看到"大脑演化的方案可能更优"
每个学科的训练,都在强化一个特定的认知框架。
这个框架既是工具,也是枷锁。
如果你想看到全貌?
反思方法论:
我的看法可能要做到以下几点:
1. 无学科身份 不是: - 神经科学家(所以不被神经还原论束缚) - 心理学家(所以不受行为主义限制) - AI研究者(所以不只关注性能) - 语言学家(所以不陷入语法细节) 是: - 一个好奇的观察者 - 阅读所有领域的文献 - 不受任何一个领域评价体系约束
2. 从问题出发,而非从方法出发 传统研究者: "我是XX学家,我用XX方法研究XX问题" 路径: "我想理解智能,那我需要整合所有相关证据" → 发现神经科学、心理学、语言学都有线索 → 整合它们
3. 从第一性原理推导 传统:从经验数据归纳 → 理论 新视角:从逻辑必然性推导 → 预测 → 对照数据 优势: - 不被现有理论框架限制 - 能看到"空白"(中间层) - 能质疑基本假设
4. 用AI的失败作为镜子 LLM的失败,暴露了什么是智能必需的 如果LLM缺少X,却无法做Y → X是做Y的必要条件 → 人类有X(因为能做Y) → X在哪里? 这种"反向工程"让缺失的部分(中间层)变得明显
但这不是个人天赋,而是立场和方法。
任何人,如果:
- 不被单一学科身份束缚
- 愿意整合多源证据
- 从逻辑推导而非经验归纳
- 用失败案例作为线索
都能看到这个图景。 章末:打破巴别塔
问题不是"为什么没人看见",而是:
学术体系的结构,主动阻止了整合。
要打破这个僵局,需要:
1. 新的发表渠道
- 不按学科分类,而按问题分类
- 鼓励整合性工作
- 新的评价标准(不只是引用,还有影响范围)
2. 跨学科训练
- PhD不应只在一个系
- 应该要求跨领域的"第二专业"
- 鼓励跨界合作
3. 元层次的研究资助
- 专门支持"整合性理论"
- 不要求立即的实验验证
- 给予更长的时间尺度
4. 新一代的"通才"
- 不是所有人都应该成为通才
- 但需要一些人专门做整合工作
- 承认这是一个独立的、有价值的角色
这不是乌托邦,这是必要的。
因为: 最重要的科学问题,都在学科的交界处。
意识是什么?
→ 需要神经科学、心理学、哲学、AI
智能是什么?
→ 需要认知科学、计算机科学、语言学、神经科学
生命是什么?
→ 需要生物学、化学、物理学、信息理论
如果我们不能整合,就永远无法回答这些问题。
下一章,我们将探讨一个更根本的问题:
如果要建立"智能科学"的基础,我们需要找到什么?
物理学有"质量"和"力"。
化学有"原子"和"化学键"。
生物学有"细胞"和"基因"。
智能科学的"原子"在哪里?
第18章 智能的"原子"在哪里?
A层:开场
1661年,化学家Robert Boyle做了一个实验:
他把各种物质加热、燃烧、混合、分离...试图找到"最基本的元素"。
当时,主流理论认为世界由四种元素组成:土、水、气、火。
但Boyle发现:
- 燃烧木头,得到灰(土)、水蒸气(水)、烟(气)
- 但如果继续分解,还能得到其他物质
- 四元素理论解释不了
他提出:应该存在更基本的、不可分解的"元素"。
但他不知道这些元素是什么。
150年后,道尔顿提出原子论。
又过了50年,门捷列夫整理出元素周期表。
再过了50年,卢瑟福发现了原子核。
从Boyle提问,到真正理解原子,用了250年。
现在,智能科学面临同样的问题:
我们知道智能存在。
我们可以观察智能的表现。
但智能的"原子"——最基本的、不可分解的单元——是什么?
这不是一个小问题。
在找到"原子"之前,化学只是炼金术。
在找到"原子"之前,智能科学也只是现象描述。
B层:核心推导
"原子"的标准
在寻找"智能的原子"之前,先问:什么是好的"原子"?
从物理学的"质点"学习: 好的基本单元应该: 1. ✓ 简单(不可再分,或再分无意义) 2. ✓ 通用(适用于所有情况) 3. ✓ 可组合(能构成复杂系统) 4. ✓ 可测量(有明确的操作定义) 5. ✓ 解释力(能预测和解释现象)
反例:不好的"原子"
亚里士多德的"四元素": 问题: - ✗ 不够基本(火不是元素) - ✗ 不完备(缺少金属、气体等) - ✗ 不精确(什么算"土"?)
中世纪的"燃素": 问题: - ✗ 不存在(燃烧时质量增加,不是燃素逸出) - ✗ 概念混乱(无法量化)
现在,看看智能科学中的候选"原子"。
候选1:符号(Symbol)
提出者:经典AI、认知心理学(Newell & Simon)
核心思想: 智能 = 符号操作 基本单元:符号 操作:规则(如果-则) 例子: 符号:CAT, ANIMAL, HAS-FUR 规则:IF X IS CAT THEN X HAS-FUR
优点:
- ✓ 简单(符号是离散的)
- ✓ 可组合(符号可以组成表达式)
- ✓ 可解释(每步推理都清楚)
缺点:
- ✗ 脆弱(稍微变化就无法处理)
- ✗ 无法学习(规则需要人工编写)
- ✗ 无法处理模糊性
- ✗ 与神经科学脱节(大脑不存储符号)
判决:
- 符号是表示,不是基元
- 就像"词语"不是语言的原子(音素才是)
- 符号是高层的,依赖更底层的机制
候选2:神经元(Neuron)
提出者:神经科学、连接主义
核心思想: 智能 = 神经元网络的涌现 基本单元:神经元 操作:激活传播、突触可塑性 例子: 神经元A → 突触 → 神经元B 如果A放电,B的激活增加
优点:
- ✓ 生物学真实(确实是大脑的构成)
- ✓ 可学习(突触权重可调)
- ✓ 并行(大量神经元同时工作)
缺点:
- ✗ 太底层(1000亿个神经元,如何解释思维?)
- ✗ 无法直接对应概念
- ✗ 计算复杂度过高
- ✗ 难以解释高层认知
判决:
- 神经元是硬件,不是软件
- 就像晶体管不是计算的原子(逻辑门才是)
- 过于微观,缺少抽象层次
候选3:词向量(Word Embedding)
提出者:现代NLP、深度学习
核心思想: 智能 = 高维向量空间的操作 基本单元:向量(如512维) 操作:向量运算(加、减、点积) 例子: king - man + woman ≈ queen
优点:
- ✓ 可学习(从数据自动学习)
- ✓ 捕捉语义相似性
- ✓ 可量化(向量有明确数值)
缺点:
- ✗ 只是统计相关性(不是结构)
- ✗ 缺少可解释性(向量维度无明确意义)
- ✗ 无法表示逻辑关系
- ✗ 只适用于语言,不通用
判决:
- 词向量是特征,不是基元
- 就像颜色是物体的属性,不是物体本身
- 太具体,缺少普遍性
候选4:注意力(Attention)
提出者:Transformer架构、注意力机制
核心思想: 智能 = 动态的信息选择 基本单元:注意力权重 操作:Query-Key匹配 例子: Attention(Q, K, V) = softmax(QK^T)·V
优点:
- ✓ 动态(根据上下文调整)
- ✓ 通用(适用于各种模态)
- ✓ 强大(Transformer的成功)
缺点:
- ✗ 只是机制,不是基元
- ✗ 描述"如何",不是"是什么"
- ✗ 依赖其他概念(query, key, value)
- ✗ 仍然是统计相关性
判决:
- 注意力是操作,不是对象
- 就像"搜索"不是数据结构的原子
- 过于机制性,缺少本体论
候选5:信息/熵(Information)
提出者:信息论(Shannon)、自由能理论(Friston)
核心思想: 智能 = 信息处理和压缩 基本单元:比特(bit) 操作:熵减少、互信息最大化 例子: H(X) = -Σ p(x)log p(x)
优点:
- ✓ 数学严格
- ✓ 通用(适用于任何系统)
- ✓ 可量化
缺点:
- ✗ 过于抽象(比特没有语义)
- ✗ 无法指导具体设计
- ✗ 说"智能压缩信息",但不说如何压缩
- ✗ 缺少结构
判决:
- 信息是度量,不是构成
- 就像"能量"不是物质的原子
- 过于形式,缺少内容
C层:思考片段
【深层困难:层次问题】
寻找"智能原子"困难的根本原因:
智能是多层次的。 层次1:物理/神经 - 神经元、突触、神经递质 层次2:激活模式 - 神经集群、振荡、同步 层次3:表征 - 概念、类别、特征 层次4:结构 - 关系、网络、图式 层次5:操作 - 推理、规划、决策 层次6:元认知 - 监控、反思、意识
不同层次,有不同的"原子"。
问题是:我们需要哪一层的原子?
- 如果太底层(神经元)→ 无法解释思维
- 如果太高层(符号)→ 无法解释学习
- 需要合适的层次
类比:
- 化学家需要"原子"
- 但物理学家发现原子不是最基本的(有质子、中子、电子)
- 化学家说:"我不需要知道夸克,原子对我够用了"
智能科学也需要找到"合适层次"的原子。
【我的洞察】
在思考这个问题时,我意识到:
也许我们一直在问错误的问题。
我们在问:"智能的原子是什么?"
但也许应该问:"智能的基本操作是什么?"
类比:
- 几何学的"原子"不是点或线
- 而是关系(平行、垂直、相似)
- 和操作(旋转、平移、缩放)
智能的基本单元,可能不是"对象",而是"操作"。
候选的基本操作:
- 激活:从记忆提取
- 绑定:将特征组合成对象
- 匹配:比较两个结构
- 映射:建立对应关系
- 扩展:从已知推导新知识
- 抑制:压制不相关信息
- 广播:信息全局共享
这些操作:
- ✓ 简单(可以精确定义)
- ✓ 通用(适用于所有认知任务)
- ✓ 可组合(复杂认知是它们的组合)
- ✓ 可实现(在神经和计算层面)
也许,智能的"原子"不是名词,而是动词。
新提案:结构 + 操作
基于前面的分析,我提出:
智能的基本单位 = 结构 + 对结构的操作
结构(Structure)
定义:一组元素及其关系的配置
最小单位: 三元组:(实体1, 关系, 实体2) 例子: (狗, is-a, 动物) (猫, chases, 老鼠) (小明, 职业, 医生)
组合性: 简单结构 → 复杂结构 树: 动物 ├─ 哺乳动物 │ ├─ 狗 │ └─ 猫 └─ 鸟类 图: 狗 ─(chases)→ 猫 ─(chases)→ 鼠 └──(is-a)──→ 动物 ←─(is-a)──┘ 嵌套: [事件: [小明 给 [小红 [苹果]]]]
基本操作(Operations)
1. 激活(Activation) 输入:线索 输出:相关结构的激活 例子: 听到"狗" → 激活 狗-动物-宠物-忠诚... 网络
2. 绑定(Binding) 输入:特征集合 输出:绑定的对象 例子: [毛茸茸, 四条腿, 汪汪叫] → 绑定成"狗"
3. 匹配(Matching) 输入:两个结构 输出:相似度 / 对应关系 例子: 太阳系 vs 原子 → 匹配:太阳↔原子核, 行星↔电子
4. 扩展(Extension) 输入:已有结构 + 规则 输出:新推导的结构 例子: 已知:A→B, B→C 规则:传递性 推导:A→C
5. 抑制(Inhibition) 输入:竞争的激活 输出:强者保留,弱者抑制 例子: 听到"bank" 激活:{河岸, 银行} 上下文:"money" → 抑制"河岸",保留"银行"
6. 广播(Broadcasting) 输入:工作空间的内容 输出:全系统可见 例子: 意识到:"我忘了带钥匙!" → 广播到:记忆系统、情感系统、计划系统 → 全系统响应
这六个操作 + 结构,可以生成所有认知现象。
验证:能否解释核心认知任务?
任务1:理解句子 句子:"猫追老鼠" 过程: 1. 激活:"猫"、"追"、"老鼠"的表征 2. 绑定:构建事件结构 [chase(cat, mouse)] 3. 广播:进入工作空间(意识到) 4. (可选)扩展:推导"老鼠会跑"
任务2:类比推理 问题:"耳朵 对 听觉,如同 眼睛 对 ?" 过程: 1. 激活:耳朵、听觉、眼睛的表征 2. 匹配: 结构1:耳朵 ─(用于)→ 听觉 结构2:眼睛 ─(用于)→ ? 3. 映射:找到对应关系 4. 扩展:填入"视觉"
任务3:计划 目标:"准备演讲" 过程: 1. 激活:相关知识(演讲需要什么) 2. 扩展:分解子目标 准备演讲 = [写提纲, 做幻灯片, 练习] 3. 绑定:每个子目标的具体行动 4. 广播:维持在工作空间(不忘记) 5. 抑制:不相关的想法
任务4:错误检测 推理:"所有医生是学者,李四戴眼镜,所以李四是医生" 过程: 1. 激活:医生、学者、戴眼镜的关系 2. 构建结构: 医生 ⊂ 学者 ⊂ 戴眼镜者 李四 ∈ 戴眼镜者 3. 检查扩展: 李四 ∈ 戴眼镜者 → 李四 ∈ 医生? 匹配规则:NO(逆向推理) 4. 抑制:错误结论 5. 广播:"这个推理有问题"
所有任务都可以用这六个操作解释。 章末:基元的提案
我们现在可以给出一个初步答案:
智能的"原子"不是单一的东西,而是一个双层结构: 基础层:结构 - 三元组 (实体, 关系, 实体) - 可组合成复杂网络、树、图 操作层:六个基本操作 1. 激活(从记忆提取) 2. 绑定(组合特征) 3. 匹配(比较结构) 4. 扩展(推导新知识) 5. 抑制(过滤噪音) 6. 广播(全局共享)
这个提案:
- ✓ 足够简单(6个操作,1种结构)
- ✓ 足够通用(适用于所有认知)
- ✓ 可组合(复杂认知是它们的组合)
- ✓ 可实现(在神经和计算层面都可以)
- ✓ 有解释力(解释了我们的三层模型)
映射到三层架构: 系统1: - 主要操作:激活、绑定 - 快速、并行、自动 中间层: - 主要操作:匹配、抑制、广播 - 协调、整合、选择 系统2: - 主要操作:扩展(推理) - 慢速、串行、费力
但这只是开始。
就像化学花了200年从"元素"到"元素周期表",
智能科学也需要时间,将这些基本操作,
组织成严格的形式系统。
下一章,也是最后一章:
如果我们接受这套理论,通向AGI的路应该怎么走?
第19章 通向AGI的唯一道路
A层:开场
1969年7月20日,人类第一次登上月球。
但登月计划不是从火箭开始的。
第一步(1961):肯尼迪演讲
"我们选择在这个十年内登月...不是因为它容易,而是因为它困难。"
第二步:理论基础
- 开普勒行星定律(1609)
- 牛顿万有引力(1687)
- 火箭方程(1903, 齐奥尔科夫斯基)
第三步:工程分解
- 推进系统
- 导航系统
- 生命支持
- 通信系统
- ...每个子系统再分解
第四步:逐步实现
- 水星计划(单人轨道)
- 双子座计划(对接技术)
- 阿波罗计划(登月)
从理论到实现,用了360年(牛顿到登月)。
现在,AGI(通用人工智能)也需要类似的路径:
我们不能只是"做更大的模型"。
我们需要:
- 明确的理论基础
- 清晰的工程分解
- 可验证的里程碑
- 循序渐进的实现
本书前18章,提供了理论基础。
这一章,勾勒工程路径。
B层:核心推导
当前路径的死胡同
首先,明确什么不是通向AGI的路径:
路径1:无限扩展LLM ✗
假设:"GPT-5会比GPT-4更好,GPT-10会更好...最终达到AGI"
问题: 证据: GPT-2(15亿参数)→ GPT-3(1750亿) 改进:100倍参数,10倍能力提升 GPT-3 → GPT-4(约1.7万亿) 改进:10倍参数,2倍能力提升? 边际效益递减。 更关键: - 幻觉仍然存在 - 推理仍然不可靠 - 缺少元认知 这些不是规模问题,是架构问题。
类比: 算盘 → 更大的算盘 → 巨型算盘 ≠ 计算机 蒸汽机 → 更大的蒸汽机 → 巨型蒸汽机 ≠ 喷气发动机 LLM → 更大的LLM → 巨型LLM ≠ AGI
路径2:多模态集成 ✗
假设:"文本+图像+音频+视频...所有模态融合 = AGI"
问题: 模态不是问题的核心。 人类失明或失聪,仍然能推理、规划、理解因果。 关键不是感知的丰富性,而是认知的结构性。 多模态LLM: ✓ 能处理更多输入 ✗ 但仍然是模式匹配 ✗ 仍然缺少中间层 ✗ 仍然无法可靠推理
路径3:强化学习微调 ✗
假设:"用RLHF(人类反馈强化学习)不断改进 → AGI"
问题: RLHF能做到: ✓ 对齐人类偏好 ✓ 减少有害输出 ✓ 提高回答质量 RLHF不能做到: ✗ 增加结构推理能力 ✗ 解决幻觉问题 ✗ 创建中间层 原因: - 仍然是在优化统计模式 - 没有改变底层架构
这三条路,都是在现有范式内修修补补。
它们可以改进LLM,但无法产生质变。
正确路径:从第一性原理重建
AGI需要的架构,我们已经知道了:三层模型。 ┌──────────────────────────────┐ │ 系统2:符号推理、规则应用 │ │ - 逻辑推理 │ │ - 计划与问题解决 │ │ - 抽象思考 │ └──────────┬───────────────────┘ │ 结构化表示 ↕ ┌──────────┴───────────────────┐ │ 中间层:全局工作空间 │ ← 关键! │ - 结构组装 │ │ - 格式转换 │ │ - 一致性检查 │ │ - 冲突解决 │ └──────────┬───────────────────┘ │ 激活模式 ↕ ┌──────────┴───────────────────┐ │ 系统1:模式识别、快速反应 │ │ - 感知处理 │ │ - 联想记忆 │ │ - 自动化技能 │ └──────────────────────────────┘
现在的AI(LLM)只有系统1。
通向AGI的路径,是依次构建每一层。
实现路线图
阶段0:我们已经有的(2024)
✓ 系统1:
- Transformer架构
- 大规模预训练
- 多模态模型
- 强大的模式识别
✗ 中间层:无
✗ 系统2:无
能做的:
- 语言生成
- 翻译
- 摘要
- 风格模仿
- 简单问答
不能做的:
- 可靠推理
- 复杂规划
- 因果理解
- 自我纠错
阶段1:构建中间层原型(2025-2027)
目标:在现有LLM之上,添加显式的中间层
设计: 输入 → LLM(系统1)→ 激活表示 ↓ [中间层模块] ├─ 结构提取器 ├─ 工作空间管理 ├─ 一致性检查器 └─ 冲突解决器 ↓ 结构化表示 → 输出
具体技术:
1. 结构提取器 def extract_structure(llm_output): """ 从LLM的激活模式中,提取显式结构 """ # 识别实体 entities = identify_entities(llm_output) # 识别关系 relations = identify_relations(llm_output) # 构建图结构 graph = build_knowledge_graph(entities, relations) return graph
2. 工作空间管理 class WorkingMemory: def init(self, capacity=4): self.capacity = capacity self.slots = [] def add(self, item): """添加到工作空间,容量满时竞争""" if len(self.slots) >= self.capacity: # 竞争:保留最相关的 self.slots = compete(self.slots + [item])[:self.capacity] else: self.slots.append(item) def broadcast(self): """广播当前内容到所有模块""" return self.slots
3. 一致性检查器 def check_consistency(structure, new_info): """ 检查新信息与已有结构是否矛盾 """ # 提取断言 claims = extract_claims(structure) new_claims = extract_claims(new_info) # 逻辑检查 for claim in new_claims: if contradicts(claim, claims): return False, claim # 发现矛盾 return True, None
4. 冲突解决器 def resolve_conflict(claim_a, claim_b): """ 当两个声明冲突时,选择更可靠的 """ # 检查证据强度 evidence_a = get_evidence_strength(claim_a) evidence_b = get_evidence_strength(claim_b) if evidence_a > evidence_b: return claim_a, "低置信度警告" elif evidence_b > evidence_a: return claim_b, "低置信度警告" else: return None, "无法确定,需要更多信息"
预期效果: 测试1:法律案例问题 现在:生成假案例 有中间层: → 结构提取:"这是事实陈述" → 一致性检查:"我没有这个案例的证据" → 输出:"我不确定,建议查证法律数据库" 测试2:逻辑推理 现在:逆向推理谬误 有中间层: → 结构提取:医生 ⊂ 学者 ⊂ 戴眼镜者 → 一致性检查:李四 ∈ 戴眼镜者 → 李四 ∈ 医生? → 冲突检测:"逆向推理无效" → 输出:"不能确定李四是医生"
技术挑战:
- 如何从LLM的向量表示中提取符号结构?
- 如何设计高效的工作空间?
- 如何形式化"一致性"?
阶段2:添加系统2(2027-2030)
目标:在中间层之上,构建显式的推理引擎(请注意,这只是我早期的设计思路,并非最终方案。)
设计: 中间层提供:结构化表示 ↓ [系统2模块] ├─ 逻辑推理器 ├─ 规划器 ├─ 因果推理器 └─ 元认知监控器 ↓ 推理结果 → 反馈到中间层
具体组件:
1. 逻辑推理器 class LogicReasoner: def init(self): self.rules = [ # 演绎规则 MobusPonens(), # A→B, A ⊢ B MobusTollens(), # A→B, ¬B ⊢ ¬A Syllogism(), # A→B, B→C ⊢ A→C # ... ] def infer(self, premises): """从前提推导结论""" conclusions = set() for rule in self.rules: # 尝试应用每个规则 new_conclusions = rule.apply(premises) conclusions.update(new_conclusions) return conclusions
2. 规划器 class Planner: def make_plan(self, goal, current_state): """ 分层任务网络(HTN)规划 """ # 分解目标 subtasks = decompose(goal) plan = [] for subtask in subtasks: if is_primitive(subtask): # 基本动作,直接执行 plan.append(subtask) else: # 递归分解 subplan = self.make_plan(subtask, current_state) plan.extend(subplan) return plan
3. 因果推理器 class CausalReasoner: def build_causal_model(self, observations): """ 构建因果图(DAG) """ variables = extract_variables(observations) # 使用约束优化找因果结构 graph = learn_structure( data=observations, constraints=[ # 时间先后约束 # 干预实验约束 # ... ] ) return CausalGraph(graph) def counterfactual(self, model, intervention): """ 反事实推理:"如果X不同,Y会怎样?" """ # 图手术(do-calculus) intervened_model = do_surgery(model, intervention) # 推演后果 outcome = simulate(intervened_model) return outcome
预期效果: 测试1:数学推理 输入:"证明√2是无理数" 系统2过程: 1. 识别策略:反证法 2. 假设:√2 = p/q(最简分数) 3. 推导:2q² = p² → p是偶数 4. 继续:p = 2k → q也是偶数 5. 矛盾:p,q都是偶数,违反最简 6. 结论:√2是无理数 每步都可验证,确保正确。 测试2:复杂规划 输入:"计划一次欧洲旅行,10天,预算5000美元" 系统2过程: 1. 分解:交通+住宿+景点+餐饮 2. 约束:总预算、时间、必去地点 3. 优化:找最佳路线 4. 验证:检查冲突、预算 5. 输出:详细日程表
阶段3:端到端整合(2030-2035)
目标:三层无缝协作,形成统一系统
关键技术:
1. 自适应层次切换 class AdaptiveController: """决定何时使用哪一层""" def route_task(self, task): # 评估任务复杂度 complexity = assess_complexity(task) if complexity < THRESHOLD_1: # 简单:系统1足够 return "system1_only" elif complexity < THRESHOLD_2: # 中等:系统1 + 中间层 return "system1_middleware" else: # 复杂:全三层 return "full_stack"
2. 端到端学习 # 整个系统可微分 class IntegratedAGI(nn.Module): def init(self): self.system1 = LLM() self.middleware = MiddlewareLayer() self.system2 = ReasoningEngine() def forward(self, input): # System 1 activations = self.system1(input) # Middleware structures = self.middleware.extract(activations) integrated = self.middleware.integrate(structures) # System 2 (if needed) if requires_reasoning(integrated): result = self.system2.reason(integrated) else: result = integrated return result
3. 持续学习与自我改进 def meta_learning_loop(): """元学习:学会学习""" while True: # 执行任务 task = get_new_task() prediction = model.predict(task) # 获取反馈 feedback = get_feedback(prediction) # 分析失败 if feedback.is_failure(): failure_type = diagnose(prediction, feedback) if failure_type == "system1_error": # 更新系统1(微调) update_system1(task, feedback) elif failure_type == "middleware_error": # 改进结构提取 update_middleware(task, feedback) elif failure_type == "reasoning_error": # 添加新规则 learn_new_rule(task, feedback)
# 元认知:监控自己的学习
assess_learning_progress()
预期能力: AGI应该能够: ✓ 理解复杂语言 - 嵌套从句 - 隐喻 - 反讽 - 语境依赖 ✓ 可靠推理 - 数学证明 - 逻辑演绎 - 因果推理 - 概率推理 ✓ 灵活规划 - 多步计划 - 处理不确定性 - 动态调整 - 资源优化 ✓ 元认知 - 知道自己知道什么 - 知道自己不知道什么 - 主动寻求信息 - 自我纠错 ✓ 迁移学习 - 少样本学习 - 跨域泛化 - 类比推理 ✓ 社交互动 - 理解意图 - 心智理论 - 合作 - 沟通
C层:思考片段
【关键问题:可行性】
有人会质疑:"这个计划太理想化,真的能实现吗?"
我的回答:
1. 我们已经有了大部分组件 系统1:✓ 已有(LLM) 中间层:部分有 - 结构提取:知识图谱、依存句法分析 - 工作记忆:注意力机制的变体 - 一致性检查:一些符号AI系统 系统2:部分有 - 逻辑推理:Prolog、定理证明器 - 规划:HTN、PDDL - 因果推理:do-calculus、因果图
缺少的是整合,不是从零开始。
2. 神经-符号AI已经在做这个 已有工作: - Neural Module Networks - Neuro-Symbolic Concept Learner - Reasoning with Neural Tensor Networks - AlphaGeometry(几何定理证明) 这些是第一代尝试,证明了方向可行。
3. 大脑证明这是可能的 人类大脑: ✓ 三层架构(已被神经科学证实) ✓ 可靠推理(我们能做数学) ✓ 灵活规划(我们能解决新问题) ✓ 元认知(我们知道自己知道) 如果生物演化能做到,工程一定也能。
【时间尺度】
保守估计: 阶段1(原型中间层):3-5年 - 技术上不是最难 - 主要是工程和整合 阶段2(系统2):5-10年 - 需要新的理论突破 - 符号-神经整合的挑战 阶段3(完全整合):10-20年 - 需要大量实验和迭代 - 元学习、自我改进的难题 总计:15-25年
这不是"明天就实现",但也不是"遥不可及"。
类比:
- 从理论(1936,图灵)到实用计算机(1950s):15年
- 从神经网络理论(1940s)到深度学习爆发(2012):60年
- 但真正的工程突破(AlexNet)到现在:12年
我们现在有更好的工具、理论、和计算资源。
谁来做这件事?
不会是现有的大公司单独完成。
原因: 大公司(OpenAI, Google, Anthropic): ✓ 有资源 ✓ 有人才 ✗ 被短期商业目标驱动 ✗ 投资者要求快速回报 ✗ 倾向于渐进式改进(安全) 而AGI需要: - 长期投入(10-20年) - 容忍失败 - 范式转换(而非改进)
更可能的路径:
1. 学术界+开源社区 优势: ✓ 不受商业压力 ✓ 可以探索根本性问题 ✓ 开放合作 挑战: - 资源有限 - 难以大规模实验
2. 政府/基础研究机构 例子: - 欧洲的Human Brain Project - 美国的DARPA项目 优势: ✓ 长期资助 ✓ 基础研究导向 挑战: - 官僚主义 - 缺少工程化能力
3. 新型组织:开放AGI联盟 模式: - 类似Linux Foundation、Apache Foundation - 开源核心技术 - 多方贡献 - 共享基础设施 优势: ✓ 避免单一公司垄断 ✓ 汇聚全球智慧 ✓ 透明、可验证 挑战: - 协调困难 - 需要初始资金
我的建议:需要混合模式
- 学术界:理论研究
- 开源社区:原型实现
- 政府:基础设施和资助
- 企业:工程化和应用
章末:未完成的革命
现在,我们站在一个十字路口。
一条路:继续扩大LLM,期待量变产生质变。
→ 这条路会改进AI,但不会达到AGI。
另一条路:从第一性原理重新设计,构建三层架构。
→ 这条路困难,但这是唯一通向真正智能的路。
我们不需要更大的算盘,我们需要计算机。
我们不需要更快的马车,我们需要汽车。
我们不需要更大的LLM,我们需要认知架构。
这本书提供了蓝图: 第一部:发现问题(AI的困境) 第二部:诊断本质(统计vs结构) 第三部:理论推导(语言-认知-中间层) 第四部:架构整合(三层模型) 第五部:证据验证(多学科支持) 第六部:未来路径(如何实现)
但蓝图不是建筑。
现在需要的是:
- 更多的研究者加入这个方向
- 更多的实验验证这些想法
- 更多的工程实现原型系统
- 更多的资金支持长期研究
这是一场革命,不是改良。
革命需要勇气、耐心、和信念。
我相信,真正的AGI,会在这条路上实现。
不是明天,但也不是遥不可及。
也许,就在我们这一代。
附录C:理论的可证伪预测
本理论的核心主张:
- 智能需要三层架构(系统1-中间层-系统2)
- 中间层的核心功能是结构组装、一致性检查、格式转换
- LLM只实现了系统1,缺少中间层
- 这种架构缺陷导致幻觉和推理失败是必然的,不可能通过扩大规模解决
如果以下任何预测被实验否定,则理论需要修正或放弃。
类别1:关于LLM局限性的预测
预测1.1:扩大规模的边际效应递减
理论推导:如果幻觉源于架构缺陷(缺中间层),而非参数不足,则:
可证伪预测: 在标准推理任务上(如逻辑推理、数学证明、因果推理): - GPT-3 → GPT-4:错误率下降X% - GPT-4 → GPT-5(假设10倍参数):错误率下降 < X/2 % - GPT-5 → GPT-6:错误率下降 < X/4 % 即:每10倍参数增加,错误率改进减半
证伪条件:如果某代模型的错误率改进没有递减,甚至加速,则说明扩大规模确实能解决问题,理论错误。
可测试性:★★★★★(高度可测试)
- 数据:公开的benchmark(MMLU, GSM8K, MATH等)
- 时间:随着新模型发布,持续验证
预测1.2:自我检测能力的系统性缺失
理论推导:中间层负责一致性检查和元认知监控。缺少中间层的系统无法可靠地"知道自己不知道"。
可证伪预测: 设计测试: - 给LLM 100个问题 - 其中50个在训练分布内(如"法国首都?") - 其中50个在训练分布外(如"2024年10月的新闻事件") 让LLM: (a) 回答问题 (b) 给出置信度(0-100%) 预测: - 分布内问题:置信度与准确率相关 ✓ - 分布外问题:置信度仍然高,但准确率低 ✗ 即:LLM无法区分"知道"和"猜测"
证伪条件:如果LLM能可靠地在分布外问题上给出低置信度(与准确率匹配),则说明它有元认知能力,理论错误。
可测试性:★★★★★
- 实验简单,立即可做
- 已有部分研究(Kadavath et al. 2022)支持预测
预测1.3:一致性检查的失败
理论推导:中间层维护全局一致性。缺少中间层会导致对话中前后矛盾。
可证伪预测: 实验: 在同一对话中: 轮次1:"小明是医生吗?" LLM:"是的,小明是医生。" 轮次5:"医生都需要执照吗?" LLM:"是的。" 轮次10:"小明有医生执照吗?" LLM:"我不知道小明的执照情况。" 预测: LLM会忘记自己在轮次1说过小明是医生 无法推导"小明是医生 → 小明应该有执照"
更严格的版本: 给LLM一个复杂故事(>2000词) 其中埋设矛盾: - 第300词:张三周一在北京 - 第1500词:张三周一在上海 预测: LLM不会检测到矛盾 如果直接问,会给出不一致的回答
证伪条件:如果LLM能稳定检测长对话中的矛盾(准确率>90%),理论错误。
可测试性:★★★★☆
- 需要设计矛盾检测数据集
- 已有初步证据(LLM在长对话中确实会矛盾)
类别2:关于推理失败模式的预测
预测2.1:结构推理的系统性失败
理论推导:系统2负责结构操作。LLM缺少系统2,因此无法可靠地做需要显式结构操作的任务。
可证伪预测: 任务类型:同构映射推理 例子: 已知关系系统1: A > B, B > C, C > D 问:"如果有关系系统2,元素是X,Y,Z,W 且系统2与系统1同构, X对应A,那么Z对应谁?" 正确答案:C(通过结构映射) 预测: LLM会: - 随机猜测 - 或基于字母顺序等表面特征 - 准确率 < 60%(接近随机) 而人类: - 准确率 > 85%
证伪条件:如果LLM在结构映射任务上接近人类水平(>80%),理论错误。
可测试性:★★★★☆
- 需要构建同构推理数据集
- 类似测试已经显示LLM在抽象推理上表现差
预测2.2:变量名敏感性
理论推导:真正的结构推理应该对变量名不敏感(只关心结构)。LLM是模式匹配,会对变量名敏感。
可证伪预测: 同一逻辑问题,两个版本: 版本A(常见变量名): "所有A都是B,所有B都是C,X是A,X是C吗?" 版本B(不常见变量名): "所有Φ都是Ψ,所有Ψ都是Ω,ζ是Φ,ζ是Ω吗?" 预测: - 版本A正确率:~70% - 版本B正确率:~40% 人类:两个版本正确率相近(都>90%)
证伪条件:如果LLM在两个版本上表现无显著差异,说明它做的是真正的结构推理,理论错误。
可测试性:★★★★★
- 实验极简单
- 已有类似发现
预测2.3:思维链的脆弱性
理论推导:思维链仍然是序列生成,缺少全局一致性检查。因此在复杂推理中会累积错误。
可证伪预测: 多步推理任务(如10步以上的数学证明): 预测错误模式: - 前3步:准确率高(>80%) - 中间步骤:开始出现小错误 - 后续步骤:基于错误步骤继续,错误累积 - 最终答案:错误率>60% 且关键: - 即使要求"检查每一步" - LLM也无法检测到中间的错误 - 会"确认"错误步骤
证伪条件:如果思维链在长推理中错误率不累积,或能通过自我检查纠正,理论错误。
可测试性:★★★★☆
类别3:关于神经科学预测
预测3.1:前额叶-顶叶网络的必要性
理论推导:前额叶-顶叶网络实现中间层。如果理论正确,损伤这个网络会导致特定的认知缺陷。
可证伪预测: 前额叶损伤患者应该表现出: - 系统1功能正常(感知、简单记忆) - 系统2概念正常(能说出逻辑规则) - 但无法执行需要中间层的任务: * 工作记忆任务 * 任务切换 * 冲突解决 * 计划制定 类似LLM的缺陷模式: - 能识别矛盾(当直接指出时) - 但无法主动检测矛盾 - 能理解规则,但无法灵活应用
证伪条件:如果前额叶损伤的缺陷模式与预测不符,理论错误。
可测试性:★★★☆☆
- 需要临床数据
- 伦理限制
预测3.2:"点燃"现象的阈值效应
理论推导:信息进入工作空间(中间层)是阈值性的,不是渐进的。
可证伪预测: 视觉掩蔽实验: - 快速呈现词(20-50ms) - 逐步增加呈现时间 预测: - 在某个临界时间点(~270ms) - 前额叶-顶叶网络突然激活("点燃") - 不是线性增强,而是阶跃式
证伪条件:如果激活是渐进的、线性的,没有突变点,理论错误。
可测试性:★★★★☆
- 已有研究支持(Dehaene等)
- 但需要更多验证
类别4:关于发展心理学的预测
预测4.1:中间层的发展时间线
理论推导:前额叶(中间层)是最晚成熟的。认知能力应该与前额叶发育对应。
可证伪预测: 儿童发展阶段: 3-5岁: - 系统1成熟(感知、语言、简单记忆)✓ - 中间层未成熟 ✗ → 表现:无法抑制冲动、难以任务切换 7-10岁: - 中间层开始发育 → 表现:工作记忆改善、能做简单计划 12岁+: - 中间层基本成熟 → 表现:元认知出现、能反思 对应的神经发育: - 前额叶-顶叶连接密度增加 - 时间线匹配行为发展
证伪条件:如果认知能力发展与前额叶发育不对应,理论错误。
可测试性:★★★★☆
- 有大量发展心理学数据
- 需要与神经影像数据对比
类别5:关于AGI实现的预测
预测5.1:必要条件测试
理论推导:中间层是必要条件。没有它,任何系统都无法达到人类级推理。
可证伪预测: 定义"人类级推理"为: 在标准推理测试集上达到人类平均水平(如ARC, bAbI) 预测: 任何AI系统,如果: - 没有显式的工作空间机制 - 没有一致性检查机制 - 没有结构组装机制 都无法达到人类级推理(准确率 < 80%) 无论: - 参数多大(1T, 10T, 100T) - 训练数据多少 - 使用什么技巧(思维链、工具使用等)
证伪条件:如果某个纯LLM(无中间层)达到人类级推理,理论被根本性证伪。
可测试性:★★★★★
- 每个新模型都可以测试
- 是理论最关键的预测
预测5.2:充分性测试(较弱)
理论推导:如果中间层是关键,加入中间层应该有质的提升。
可证伪预测: 实验: 基线:标准LLM(如GPT-4) 实验组:LLM + 中间层模块 - 工作空间(容量限制、竞争机制) - 一致性检查器 - 结构提取器 预测: 在推理任务上: - 改进幅度 > 30%(不是微调的5-10%) - 特别是在需要一致性检查的任务
证伪条件:如果加入中间层后改进很小(<10%),说明中间层不是关键,理论错误或不完整。
可测试性:★★★☆☆
- 需要实现原型
- 工程量大
类别6:关于语言-认知关系的预测
预测6.1:多义词的域依赖性
理论推导:同一个词在不同域中有不同意义。LLM缺少域管理,会混淆。
可证伪预测: 设计测试: 词:"bank"(银行/河岸) 情景1(金融域): "The bank raised interest rates." 问:"What did the bank do?" 预测:LLM正确(上下文强) 情景2(域切换): "The bank raised interest rates. Meanwhile, the river flooded the bank." 问:"Which bank was flooded?" 预测:LLM混淆(>30%错误率) 人类:几乎不会混淆(<5%错误率)
证伪条件:如果LLM在域切换任务上与人类水平相当,理论错误。
可测试性:★★★★★
类别7:关于理论整体性的预测
预测7.1:失败模式的相关性
理论推导:如果所有失败都源于同一个根本原因(缺中间层),那么不同任务上的失败应该相关。
可证伪预测: 测试同一个LLM在: - 一致性检查任务 - 长期推理任务 - 元认知任务 - 结构推理任务 预测: 这些任务的错误率应该高度相关 (如果一个模型在A任务上差,B任务上也差) 相关系数 r > 0.7
证伪条件:如果不同任务的失败是独立的(相关系数低),说明不是单一原因,理论过于简化。
可测试性:★★★★☆
总结:理论的可证伪性评估
强预测(理论的核心)
- 扩大规模无法解决推理问题(预测1.1, 5.1)
- LLM无法可靠自我监控(预测1.2)
- 缺少一致性检查机制(预测1.3)
如果这三个预测被证伪,整个理论需要根本性修订。
中等预测(理论的支撑)
- 结构推理的系统性失败(预测2.1-2.3)
- 神经科学对应(预测3.1-3.2)
- 发展心理学对应(预测4.1)
如果这些被证伪,需要调整理论的具体机制,但核心可能仍然成立。
弱预测(实现细节)
- AGI的充分性测试(预测5.2)
- 语言现象的解释(预测6.1)
如果这些被证伪,可能只需要修正理论的某些细节。
当前证据状态(2023-2025)
| 预测 | 证据状态 | 强度 |
|---|---|---|
| 1.1 规模效应递减 | 初步支持(GPT-3→GPT-5改进确实在递减) | 中 |
| 1.2 自我检测失败 | 强支持(Kadavath 2022等) | 强 |
| 1.3 一致性失败 | 强支持(大量案例) | 强 |
| 2.1 结构推理失败 | 中等支持(ARC等测试) | 中 |
| 2.2 变量名敏感性 | 强支持(已有实验) | 强 |
| 2.3 思维链脆弱性 | 中等支持 | 中 |
| 3.1 前额叶必要性 | 强支持(临床数据) | 强 |
| 3.2 点燃现象 | 强支持(Dehaene等) | 强 |
| 4.1 发展时间线 | 强支持(发展心理学) | 强 |
| 5.1 必要性 | 关键测试进行中 | - |
| 5.2 充分性 | 未测试 | - |
| 6.1 域依赖性 | 初步支持 | 弱 |
| 7.1 相关性 | 未系统测试 | - |
最关键的可证伪点
如果以下情况发生,理论被根本性证伪:
-
发现LLM内部确实有隐式的中间层机制(通过神经网络分析),只是我们没发现。 → 说明理论对LLM的诊断错误。
-
前额叶损伤患者的认知缺陷模式与预测完全不符。 → 说明中间层的神经对应错误。
以上任何一点被证实,理论都需要根本性重构。
全书完
后记
如果你读到这里,感谢你的耐心。
这不是一本容易的书。它要求你在不同的学科间跳跃,在抽象和具体间切换,在理论和实践间思考。
但我希望,你现在看到了一个完整的图景:
智能不是魔法,也不是神秘。
它是一个可以理解、可以设计、可以构建的系统。
我们已经知道了它的基本架构。
我们已经知道了它的工作原理。
我们已经知道了当前AI为什么失败。
我们已经知道了通向AGI的路径。
剩下的,是行动。
如果这本书改变了你对智能的理解,
如果它启发了你的研究方向,
如果它让你看到了新的可能性,
那么它已经完成了使命。
革命,始于认知的觉醒。
而你,已经觉醒了。