第一章 逻辑——机器能思考吗
1950年,一个问题改变了世界
1950年,一个英国数学家在一本学术期刊上发表了一篇论文。
论文的开头只有一句话:
"我提议考虑这个问题:机器能思考吗?"
这个人叫艾伦·图灵。
他没有直接回答这个问题。他说,这个问题本身太模糊,"思考"这个词太难定义。所以他提出了一个替代问题:如果一台机器和一个人对话,你无法分辨哪个是机器,哪个是人——那么,这台机器算不算在思考?
这个问题后来被称为图灵测试。
但图灵真正的贡献,不只是这个问题。在这篇论文之前,他已经做了更根本的事情:他证明了,任何可以被精确定义的计算过程,都可以被一台机器执行。
任何可以被精确定义的计算过程。
这句话里藏着一个要求:精确定义。
而精确定义,需要一种语言。
这种语言,就是逻辑。
一、你已经知道的那些
在我们说机器之前,先说你已经学过的东西。
你在初中学过命题。老师告诉你,命题是一个可以判断真假的陈述。"北京是中国的首都"是命题,"今天天气好吗"不是命题,因为它是疑问句,无法直接判断真假。
你学过与、或、非。"今天下雨且刮风",两个都成立才成立。"今天下雨或刮风",至少一个成立就成立。"今天不下雨",把真假翻转。
你学过条件命题。"如果明天下雨,那么我就带伞"。这是一个推理的模板——已知条件,得出结论。
你学过逆命题、否命题、逆否命题。你大概记得,原命题和逆否命题是等价的,但和逆命题不一定等价。
你也许学过集合。并集、交集、子集、补集——用图形表示关系的那些圆圈,维恩图。
你当时可能觉得这些东西很基础,甚至有点无聊。
但这些东西,是整个计算机科学的地基。
二、把推理变成符号
让我们停在"如果p则q"这个结构上多看一秒。
p → q
这个箭头,是一个推理规则。它说:如果p成立,那么q也成立。
现在有一个新信息:p确实成立了。
结论是什么?
q成立。
这个推理步骤,在逻辑上叫假言推理。它的完整形式写出来是这样:
前提一:p → q 前提二:p 结论:q
看起来很简单,对吗?
但请注意一件事:这个推理过程,不需要你理解p和q是什么意思。
p可以是"今天下雨",q可以是"地面湿了"。p也可以是"体温超过38.5度",q可以是"建议就医"。p还可以是"用户点击了购买按钮",q可以是"生成订单"。
推理的结构是一样的。只要前提成立,结论就成立。不需要理解,只需要执行。
这是一个机器可以做的事情。
这个发现,是人工智能历史的起点。
三、知识点全景
在我们继续之前,先把这一章涉及的知识点完整列出来。你可能在不同的年级学过它们,现在把它们放在一起,看看它们共同构成了什么。
初中阶段:
- 命题——一个可以判断真假的陈述。这是逻辑的基本单元,计算机处理的最小信息单位。
- 逻辑连接词:与(∧)、或(∨)、非(¬)——把命题组合起来的运算。计算机的逻辑门——AND门、OR门、NOT门——就是这三个运算的硬件实现。
- 集合的基本运算:并集、交集、补集——逻辑运算的集合语言,数据库查询的数学基础。
高中阶段:
- 条件命题:p → q——推理的基本形式。所有编程语言里的if-else,都是这个结构。
- 逆命题、否命题、逆否命题——原命题和逆否命题等价,这个性质在数学证明和程序验证里反复使用。
- 假言推理——从已知推出未知的合法步骤。专家系统的推理引擎,就是大规模执行这个操作。
- 归谬法(反证法)——假设结论不成立,推出矛盾,从而证明结论成立。这是数学证明和程序验证的核心方法之一。
- 真值表——穷举所有可能的真假组合,验证命题的逻辑关系。芯片设计里的逻辑验证,用的就是真值表的思想。
大学阶段:
- 全称量词(∀)与存在量词(∃)——"对所有x"和"存在某个x"的形式化。数据库查询语言SQL里的"SELECT ALL"和"EXISTS",直接来自这里。
- 谓词逻辑——把逻辑从命题扩展到对象和关系。"所有人都会死,苏格拉底是人,所以苏格拉底会死"——这个推理的形式化,就是谓词逻辑。
- 推理规则的完备性——一套推理规则,能不能推出所有真命题?这个问题,哥德尔在1931年给出了一个震惊数学界的答案。
四、从课本走进机器
现在我们往前走一步。
1956年,一群科学家聚在美国达特茅斯学院,开了一个夏天的研讨会。他们给自己正在研究的领域起了一个名字:人工智能。
他们的核心信念,建立在一个直觉上:
人类的智能,本质上是符号操作。我们思考,就是在操作符号——概念、关系、规则。如果我们能把这些符号和规则形式化,机器就能执行它们。机器就能思考。
这个信念,直接来自逻辑学。
他们开始做一件事:把人类专家的知识,翻译成逻辑规则,输入机器,让机器执行推理。
这类系统,叫专家系统。
最著名的一个,叫MYCIN,1970年代在斯坦福大学开发。它用来诊断细菌感染。
MYCIN里存了大约600条规则。每一条规则,都是这样的形式:
如果:患者体温超过38.5度 并且:白细胞计数高于正常值 并且:样本培养显示革兰氏阳性菌 那么:建议使用青霉素类抗生素(置信度0.85)
医生把病人的检查结果输入系统,系统用这600条规则反复推理,最终给出诊断建议。
在测试中,MYCIN的诊断准确率,超过了大多数人类医生。
这是人工智能历史上第一次,机器在一个专业领域的表现,超过了人类专家。
1980年代,专家系统进入了商业应用。数百家公司开始把各自领域的专家知识,编码成规则,部署成系统。这是人工智能的第一个商业黄金时代。
五、逻辑的边界
但专家系统碰到了一堵墙。
不是一堵突然出现的墙,是一堵从一开始就存在、只是花了时间才被看清楚的墙。
第一个问题:知识写不完。
MYCIN的600条规则,需要专家花数年时间整理和验证。医学领域的知识,何止600条。真实世界的一个复杂问题,可能需要数万条规则,而且规则之间会产生冲突,维护的成本会呈指数级增长。
第二个问题:规则处理不了例外。
逻辑规则是确定性的。但真实世界充满了例外。"鸟会飞"是一条合理的规则,但企鹅是鸟,企鹅不会飞。经典逻辑处理不好这类例外——你没办法简单地把"除了企鹅和鸵鸟和……"全部列出来,因为你不知道还有多少例外没被发现。
第三个问题:逻辑处理不了模糊性。
"这个人发烧了",发烧是多少度?37.5度算吗?37.2度算吗?真实世界的很多判断,不是非真即假的,而是程度问题。经典逻辑的二值结构,与这种模糊性之间,存在根本性的张力。
第四个问题:也是最根本的问题:
机器学不会。
专家系统的所有知识,都是人工编码进去的。机器只是在执行,没有在学习。如果出现了规则库里没有的情况,机器就无能为力。
而真实世界每天都在产生新的情况。
这堵墙,在1980年代末开始显现。专家系统的局限变得越来越清晰,投资开始撤退,人工智能进入了第二次寒冬。
但逻辑本身没有消失。
六、逻辑今天在哪里
逻辑没有被取代,它被放进了更大的系统里。
在计算机硬件里: 你的CPU里有数十亿个逻辑门,每个逻辑门执行一个与、或、非运算。你手机的每一次点击,背后是数十亿次逻辑运算在微秒内完成。这是逻辑学最直接的物质化。
在编程语言里: 每一种编程语言里的if-else结构,都是条件命题p→q的直接实现。每一个while循环,都是在反复检查一个逻辑条件。你用过的每一个App,它的逻辑骨架,都是用这些结构搭建的。
在数据库里: SQL是数据库的查询语言。"SELECT * FROM users WHERE age > 18 AND country = 'China'"——这是一个谓词逻辑的查询,用∀和∃的逻辑结构,从海量数据里筛选出满足条件的记录。全球每天发生的数十亿次数据库查询,都在执行这个逻辑。
在知识图谱里: Google的知识图谱,把世界上数十亿个实体和它们之间的关系,用逻辑的结构组织起来。当你搜索"爱因斯坦的妻子",返回的答案来自一个巨大的逻辑关系网络,里面存着"爱因斯坦——结婚——米列娃·马里奇"这样的关系三元组。
在现代AI的可解释性研究里: 深度学习系统不可解释的问题,正在促使研究者重新审视逻辑的价值。如何让神经网络的决策可以被追溯,如何把符号逻辑和连接主义结合——这是今天AI研究最活跃的方向之一。
逻辑是第一章,不是因为它是最重要的,而是因为它是起点。
它是人类第一次认真回答"机器能思考吗"时,拿出来的工具。
它的答案是:能——只要思考可以被精确定义,只要推理可以被形式化。
这个答案是对的,也是不完整的。
真实世界的很多东西,无法被精确定义。很多推理,无法被形式化。
这就是为什么故事继续往下走。
小结:你学过的,在这里
| 你学过的 | 学习阶段 | 它在现实世界里是什么 |
|---|---|---|
| 命题的真假 | 初中 | 计算机处理的最基本信息单位 |
| 与、或、非 | 初中 | CPU里数十亿个逻辑门的三种类型 |
| 集合运算 | 初中 | 数据库查询的数学基础 |
| 条件命题p→q | 高中 | 所有编程语言的if-else结构 |
| 逆否命题 | 高中 | 程序验证和数学证明的核心方法 |
| 假言推理 | 高中 | 专家系统的推理引擎 |
| 归谬法 | 高中 | 算法正确性证明的标准方法 |
| 全称量词∀和存在量词∃ | 大学 | SQL查询语言的逻辑基础 |
| 谓词逻辑 | 大学 | 知识图谱的表示语言 |
下一章,我们面对一个新问题。
逻辑能推理,但它处理不了关系的规模。整个互联网有数百亿个网页,它们之间有数万亿条链接。
没有办法把这些关系写成逻辑规则。
但有一个数学工具,天生就是用来处理大规模关系的。
你在高中学过它。你当时可能不太喜欢它。
它叫矩阵。
__
第二章 矩阵——关系的骨架
两个博士生,一个公式,一个万亿帝国
1998年,两个斯坦福大学的博士生,在学校的服务器上运行了一个新的搜索引擎。
服务器占用了斯坦福整个校园网带宽的一半。学校的网络管理员去找他们,要求他们关掉。
他们没有关掉。
一年后,他们离开斯坦福,在一个朋友的车库里,创立了一家公司。
公司的名字叫Google。
今天,Google是世界上市值最高的公司之一。它的核心产品——搜索引擎——每天处理超过85亿次查询。全球超过90%的互联网搜索,通过它完成。
这个帝国的地基,是一个数学公式。
这个公式用的数学工具,你在高中就学过。
它叫矩阵。
一、一个在1998年真实存在的问题
在Google出现之前,互联网是混乱的。
不是因为信息少,而是因为信息太多,而且没有可靠的方法判断哪些信息重要,哪些不重要。
当时的搜索引擎,用的是关键词匹配。你搜索"癌症治疗",它把所有包含这两个词的页面全部返回给你。谁排在前面?谁在标题里把关键词写得最多,谁就排在前面。
这个方法有一个致命的漏洞:它可以被操纵。
你只需要在页面里把"癌症治疗癌症治疗癌症治疗"重复一千遍,你就能排在搜索结果的第一位。
结果是,搜索引擎的结果充斥着垃圾页面,真正有价值的内容被淹没在噪音里。
两个博士生,拉里·佩奇和谢尔盖·布林,问了一个不同的问题:
什么样的页面是重要的?
他们的答案,来自学术界的一个古老直觉:一篇论文如果被很多其他论文引用,它可能是重要的。如果引用它的那些论文也是重要的,它就更重要。
重要性,可以通过引用关系传播。
把这个直觉,翻译成数学,就需要矩阵。
二、你已经知道的那些
在我们建立Google的数学之前,先回到你学过的东西。
你在初中学过数组——一排有序的数字。你在初中学过坐标系——用两个数字描述平面上一个点的位置。你在高中学过向量——有大小有方向的量,可以用一列数字表示。你在高中或大学学过矩阵——数字的矩形阵列,有行有列。
矩阵看起来就是一个数字表格。比如这样:
三行三列,九个数字。
你学过矩阵的加法,学过矩阵和数字相乘,也许还学过矩阵和矩阵相乘——那个规则有点繁琐,行乘列,相加。
你可能当时没有完全理解,为什么矩阵乘法要那样定义,而不是简单地对应位置相乘。
现在我们来回答这个问题。
矩阵乘法之所以那样定义,是因为它在描述一件非常具体的事情:
关系的传递。
三、矩阵是关系的语言
想象一个简单的场景。
有三个人:A、B、C。
A认识B,A认识C,B认识C,但B不认识A,C不认识A,C不认识B。
这些关系,可以被写成一个矩阵:
第一行是A:A不认识A(0),A认识B(1),A认识C(1)。第二行是B:B不认识A(0),B不认识B(0),B认识C(1)。第三行是C:C谁都不认识(0,0,0)。
这个矩阵,把所有的关系,压缩进了一个数字表格。
现在问一个问题:A能通过中间人联系到谁?
如果A认识B,B认识C,那么A可以通过B联系到C。
这个"通过中间人"的计算,就是矩阵乘法。把这个矩阵和自己相乘,结果里非零的位置,就是"两步之内可以到达"的关系。
矩阵乘法,就是关系的传递。
这就是为什么矩阵乘法要那样定义——行乘列,相加——因为它在计算的,是"我的关系的关系"。
四、知识点全景
现在把这一章的知识点完整列出来。
小学/初中阶段:
- 数组与列表——(小学/初中)——有序数字的集合,矩阵的一维版本。你用Excel表格整理数据,就是在用矩阵思维。
- 坐标系与坐标——(初中)——用两个数字描述平面位置。矩阵是坐标系思想的推广——用行号和列号定位任意一个数字。
- 方程组——(初中)——多个未知数,多个方程。矩阵是解方程组的系统性工具。
高中阶段:
- 向量:大小和方向——(高中)——n维空间里的一个有方向的量。向量是矩阵的一列或一行。"北偏东30度,速度50公里/小时",就是一个二维向量。
- 向量加法与数乘——(高中)——向量的基本运算。力的合成、速度的叠加,都是向量加法。
- 矩阵的定义:行与列——(高中/大学)——数字的矩形阵列。任何"谁对谁有什么程度影响"的关系,都可以写成矩阵。
大学阶段:
- 矩阵乘法——(大学)——关系的传递和组合。A影响B,B影响C,A通过B影响C多少——这个计算就是矩阵乘法。
- 转置矩阵——(大学)——行列互换。把"A影响B"变成"B被A影响",关系方向的翻转。
- 行列式——(大学)——矩阵的一个数值属性。几何意义是:这个矩阵代表的变换,把空间"拉伸"或"压缩"了多少倍。行列式为零,意味着这个变换把空间压扁了,信息丢失了。
- 逆矩阵——(大学)——变换的撤销。如果A乘以A的逆等于单位矩阵,就像乘以1一样,什么都没变。解方程组,本质上就是在求逆矩阵。
- 特征值与特征向量——(大学)——这是本章最重要的概念,Google的核心就在这里。一个矩阵作用于某些特殊向量时,只是把这些向量拉伸或压缩了,没有改变它们的方向。这些特殊的向量叫特征向量,拉伸的倍数叫特征值。
- 线性变换——(大学)——矩阵作用于向量,改变空间的形状。旋转、拉伸、翻转,都是线性变换。3D游戏里的每一帧画面,都是无数次线性变换的结果。
五、PageRank:特征向量如何构建了搜索帝国
现在回到1998年的问题:怎么判断一个网页是否重要?
佩奇和布林把互联网想象成一个巨大的矩阵。
每一个网页是矩阵的一行,也是矩阵的一列。如果网页A链接到网页B,矩阵里A行B列的位置就有一个数值。这个数值代表:A把多少"重要性"传递给了B。
整个互联网,就是这样一个巨大的矩阵——数十亿行,数十亿列,绝大多数位置是零(大多数网页之间没有链接),少数位置有数值(存在链接关系)。
现在的问题是:这个矩阵最重要的特征向量是什么?
特征向量,是矩阵作用后方向不变的向量。
在这个语境里,特征向量的含义是:一个关于所有网页重要性的排名,在经过整个互联网的链接关系"过滤"之后,排名没有改变。
换句话说,这个排名,和互联网的真实结构是"对齐"的——重要的网页被更多重要的网页指向,而这个"重要"的定义,和你从这个排名出发得到的结论,是自洽的。
公式:
这个公式说:网页A的重要性,等于所有指向A的网页的重要性之和,每个贡献除以那个网页的出链数量。
这是一个循环定义——A的重要性取决于指向A的网页的重要性,而那些网页的重要性又取决于指向它们的网页……
循环定义听起来像是问题。但矩阵的特征值方法,让这个循环可以被计算。反复迭代——用当前的排名计算新的排名,再用新的排名计算更新的排名——直到排名收敛,不再变化。
这个收敛的排名,就是这个巨型矩阵最重要的特征向量。
这就是PageRank。
这就是Google的核心算法。
两个博士生用线性代数,给整个互联网排了序。
六、矩阵今天在哪里
PageRank是矩阵最著名的应用,但远不是唯一的。
桥梁与建筑: 这是矩阵最古老的工程应用之一。一座桥有数百个节点,每个节点受到来自多个方向的力。这些力的关系,写成矩阵。用矩阵运算,计算每个节点的受力情况,判断结构是否安全。没有矩阵计算,现代建筑工程无法进行。桥梁没有代数,会死人——字面意义上。
推荐系统: Netflix知道你可能喜欢哪部电影,不是因为它理解你的品味,而是因为它把所有用户对所有电影的评分,写成一个巨大的矩阵——行是用户,列是电影,数值是评分。大多数位置是空的(你没看过大多数电影)。用矩阵分解的方法,填补这些空白——预测你对没看过的电影的评分。这叫协同过滤,是推荐系统的数学核心。
图像处理: 一张图片,本质上是一个矩阵——每个像素是矩阵的一个元素,数值是颜色。模糊、锐化、边缘检测,都是用特定的小矩阵,和图片矩阵做卷积运算。你手机美颜滤镜背后的数学,是矩阵。
自动驾驶: 摄像头拍到的图像是矩阵,激光雷达扫描的点云是矩阵,神经网络的每一层计算是矩阵乘法,车辆运动的物理方程是矩阵。一辆自动驾驶汽车,每秒钟执行数十亿次矩阵运算。
量子计算: 量子比特的状态,用向量表示。量子门,用矩阵表示。整个量子计算的数学语言,是线性代数——矩阵的更深层扩展。
机器学习的每一层: 神经网络的每一层计算,本质上是一个矩阵乘法加上一个非线性函数。GPT这样的语言模型有数千层,每层都是矩阵运算。当你和AI对话,背后是数千次巨型矩阵乘法在毫秒内完成。
七、为什么矩阵乘法要那样定义——现在你知道了
回到一个你在大学线性代数课上可能有过的困惑:
矩阵乘法为什么不是对应位置相乘,而是那个复杂的"行乘列再相加"的规则?
现在你知道了。
因为矩阵乘法在描述的,是关系的传递。
A影响B,B影响C——A通过B影响C的程度,是"A对B的影响"乘以"B对C的影响",然后对所有中间节点求和。
这就是"行乘列再相加"的来源。
这个规则不是数学家拍脑袋定义的,是从"关系如何传递"这个真实需求里,自然生长出来的。
关系是矩阵的本质。矩阵乘法是关系传递的数学。
小结:你学过的,在这里
| 你学过的 | 学习阶段 | 它在现实世界里是什么 |
|---|---|---|
| 数组与列表 | 小学/初中 | 矩阵的一维版本,Excel表格的数学基础 |
| 坐标系 | 初中 | 矩阵用行列定位数字的思想来源 |
| 方程组 | 初中/高中 | 矩阵是解方程组的系统性工具 |
| 向量 | 高中 | 神经网络输入输出的基本形式 |
| 矩阵的定义 | 高中/大学 | 任何关系网络的数学表达 |
| 矩阵乘法 | 大学 | 关系的传递,神经网络每层的核心计算 |
| 行列式 | 大学 | 空间变换的"拉伸倍数",判断方程组是否有唯一解 |
| 逆矩阵 | 大学 | 变换的撤销,解方程组的数学工具 |
| 特征值与特征向量 | 大学 | PageRank的数学核心,系统最稳定的方向 |
| 线性变换 | 大学 | 3D图形、图像处理、神经网络每层计算的数学本质 |
矩阵解决了关系的问题。
它能把数十亿网页的链接关系,压缩进一个可以被计算的结构。它能从这个结构里,找到最重要的方向。
但矩阵有一个局限:它是确定性的。
矩阵计算给出确定的答案。但真实世界充满了不确定性。
医生面对症状,不能确定诊断。推荐系统面对用户,不能确定偏好。语言模型面对问题,不能确定答案。
处理不确定性,需要另一个工具。
你在高中学过它。
一个18世纪的英国牧师,在业余时间,把它推导了出来。
它叫概率。
__
第三章 概率——不确定性的数学
一个牧师的业余推导,变成了AI的判断引擎
托马斯·贝叶斯是一个18世纪的英国牧师。
他不是职业数学家。数学对他来说,是业余爱好。
1763年,他去世两年后,他的朋友整理了他的遗稿,发现了一篇从未发表的论文。论文里有一个定理,推导了一件在当时看起来很普通的事:
当你获得新的证据,你应该如何更新你已有的判断?
这个定理后来被称为贝叶斯定理。
两百多年后,它成为了垃圾邮件过滤器的核心,成为了医疗诊断系统的基础,成为了自动驾驶汽车感知世界的方式,成为了语言模型预测下一个词的数学根基。
全球每天拦截的数千亿封垃圾邮件,背后是这个牧师的遗稿。
这个数学,你在高中就学过。
一、从确定到不确定
上一章的矩阵,给了我们处理关系的工具。
但矩阵是确定性的。给定输入,输出是确定的。网页A的PageRank,是一个精确的数字。
真实世界不是这样运作的。
一个病人来了,有发烧、咳嗽、乏力。这是什么病?
没有人能确定。可能是流感,可能是普通感冒,可能是新冠,可能是肺炎。每种可能性都有一定的概率,取决于症状的组合,取决于当前流行的疾病,取决于病人的年龄和基础健康状况。
医生做的事情,不是给出确定的答案,而是在不确定性里做出最合理的判断。
这种判断,需要一套处理不确定性的数学。
二、你已经知道的那些
你在初中学过频率——做100次实验,某个结果出现了37次,频率是37%。
你学过古典概型——掷一个骰子,每个面出现的概率是1/6,因为所有面等可能。
你学过加法公式——两个互斥事件,至少一个发生的概率,等于两个概率相加。
你学过乘法公式——两个独立事件,同时发生的概率,等于两个概率相乘。
你学过条件概率——已知某件事发生了,另一件事发生的概率。用竖线表示:P(A|B),读作"在B发生的条件下,A发生的概率"。
你也许学过全概率公式——从原因推结果:知道所有可能的原因和它们的概率,计算某个结果出现的总概率。
然后是贝叶斯定理——从结果推原因:已经看到了结果,反过来推断是哪个原因造成的。
在课本里,贝叶斯定理通常被呈现为一个公式,证明它,然后做几道题,考试。
但它真正的意义,比公式本身深得多。
三、知识点全景
小学阶段:
- 可能性的比较——(小学)——"更可能"、"不太可能"、"一定"、"不可能"。这是概率最原始的直觉,在生活里每天都在用。
初中阶段:
- 频率与概率——(初中)——做大量重复实验,某个结果出现的频率,趋近于它的概率。这是概率的实验定义。
- 古典概型——(初中)——所有结果等可能时,某个事件的概率 = 满足条件的结果数 / 所有可能的结果数。掷骰子、摸球、抽扑克——这类问题的基础。
- 列举法与树状图——(初中)——系统性地列出所有可能的结果。复杂概率问题的思维工具。
高中阶段:
- 加法公式:P(A∪B) = P(A) + P(B) - P(A∩B)——(高中)——两个事件至少一个发生的概率。减去重叠的部分,避免重复计算。
- 乘法公式:P(A∩B) = P(A) × P(B|A)——(高中)——两个事件同时发生的概率。如果独立,P(B|A) = P(B),直接相乘。
- 条件概率:P(A|B) = P(A∩B) / P(B)——(高中)——已知B发生了,A发生的概率。"已知今天下雨,明天也下雨的概率是多少"——这类问题需要条件概率。
- 独立事件——(高中)——一个事件的发生不影响另一个事件的概率。抛硬币每次都是独立的,今天的结果不影响明天的结果。
- 二项分布——(高中)——重复做n次独立实验,每次成功概率为p,成功k次的概率。质量检测、临床试验、民意调查——背后都是二项分布。
- 期望——(高中)——随机变量的平均值,用概率加权。保险公司定价、赌场设计赔率、投资组合的预期收益——都用期望计算。
大学阶段:
- 全概率公式——(大学)——从原因推结果的系统方法。知道所有可能的原因和它们的先验概率,计算观察到某个结果的总概率。
- 贝叶斯定理——(大学)——从结果推原因。看到结果之后,反向更新对各个原因的概率判断。这是本章的核心。
- 随机变量与概率分布——(大学)——用函数描述随机现象的完整规律。离散分布(计数)和连续分布(测量)。
- 正态分布——(大学)——自然界和社会中最常见的分布。身高、体重、测量误差、考试成绩——大量独立因素叠加的结果,趋向正态分布。
- 大数定律——(大学)——样本量足够大,样本均值趋近于总体均值。这是所有统计推断的基础,也是机器学习需要大量数据的数学原因。
- 最大似然估计——(大学)——给定观察到的数据,找到最可能产生这些数据的参数。机器学习里"训练"的数学含义之一。
- 贝叶斯推断——(大学/研究生)——把贝叶斯定理应用于参数估计,用数据持续更新对参数的概率判断。
四、贝叶斯定理:更新信念的数学
现在我们来看这个定理本身。
用更标准的符号写:
H是假设(Hypothesis),E是证据(Evidence)。
四个概率,每个都有名字,每个都有含义:
P(H)——先验概率:在看到证据之前,你认为这个假设成立的概率。这是你的初始判断,基于已有的知识和经验。
P(E|H)——似然度:如果这个假设成立,看到这个证据的概率是多少?这是假设对证据的解释能力。
P(E)——边际概率:不管原因是什么,这个证据出现的总体概率。通常用全概率公式计算。
P(H|E)——后验概率:看到证据之后,这个假设成立的概率。这是你更新后的判断。
这个公式说的事情,用一句话表达:
你的新判断 = 你的旧判断 × 新证据对这个判断的支持程度,再做归一化。
五、一个让你看见这个公式的例子
有一种病,在人群中的患病率是1%。有一个检测方法,准确率是95%——如果你有病,95%的概率检测阳性;如果你没病,95%的概率检测阴性。
你去检测,结果是阳性。
你患病的概率是多少?
大多数人的直觉答案是:95%。毕竟检测准确率是95%。
用贝叶斯定理计算:
先验概率:P(患病) = 1% = 0.01似然度:P(阳性|患病) = 95% = 0.95P(阳性|未患病) = 5% = 0.05(假阳性率)
全概率公式:P(阳性) = P(阳性|患病) × P(患病) + P(阳性|未患病) × P(未患病)= 0.95 × 0.01 + 0.05 × 0.99= 0.0095 + 0.0495= 0.059
贝叶斯定理:P(患病|阳性) = 0.95 × 0.01 / 0.059 ≈ 16%
不是95%,是16%。
为什么?
因为这种病本来就很罕见(1%)。即使检测阳性,大多数阳性结果来自没有患病的人(他们人数众多,5%的假阳性率产生了大量阳性)。
这个结果违反直觉,但数学是对的。
它告诉我们:判断一个证据的意义,必须考虑先验概率。稀有事件即使有强证据,后验概率也可能远低于你的直觉。
这个洞见,在医疗诊断、法庭证据、科学研究里,反复出现。很多错误的判断,来自忽视了先验概率。
六、垃圾邮件过滤器:贝叶斯定理的第一个大规模应用
2002年,程序员保罗·格雷厄姆写了一篇文章,题目叫《垃圾邮件计划》。
他提出用贝叶斯定理过滤垃圾邮件。
核心思想是:
对于每一个词,计算两个概率:
- 这个词出现在垃圾邮件里的概率
- 这个词出现在正常邮件里的概率
当一封新邮件到来,对它里面的每一个词,用贝叶斯定理更新"这是垃圾邮件"的概率。所有词处理完,最终的概率超过阈值,判定为垃圾邮件。
"免费"这个词,在垃圾邮件里出现频率很高。它让"这是垃圾邮件"的概率上升。"会议"这个词,在正常邮件里出现频率更高。它让"这是垃圾邮件"的概率下降。
每个词都是一条证据。贝叶斯定理把所有证据整合成一个最终判断。
这个方法的准确率,远超之前所有的规则方法。因为它不需要人工定义规则,它从数据中自动学习每个词的概率。
今天,Gmail的垃圾邮件过滤器每天拦截数千亿封垃圾邮件。它的数学核心,是一个18世纪牧师的业余推导。
七、从垃圾邮件到语言模型
贝叶斯定理建立了一个思维框架:
在不确定的世界里,判断不是非黑即白的,而是概率的。当新的证据到来,概率被更新。
这个框架,是现代AI处理不确定性的基础。
语言模型预测下一个词,本质上是在做概率计算:给定前面的所有词,每个可能的下一个词的概率是多少?
自动驾驶汽车感知环境,本质上是在做贝叶斯推断:给定传感器数据,周围每个位置是障碍物的概率是多少?
医疗AI辅助诊断,本质上是在做后验概率计算:给定所有检查结果,每种疾病的可能性是多少?
这些系统的复杂度,远超一个简单的贝叶斯定理。但它们的概率推理核心,来自同一个地方。
八、概率今天在哪里
天气预报: "明天降雨概率70%"——这不是气象学家的猜测,是数值天气预报模型输出的概率分布。现代天气预报系统,每天处理数亿个观测数据点,用概率模型更新对大气状态的判断。
医学临床试验: 一种新药是否有效?不是看它治好了几个人,而是看治疗组和对照组的结果差异,是否在统计意义上显著。假设检验、置信区间、p值——这些统计工具,建立在概率论的基础上。每一个上市的药物,背后是严格的概率推断。
金融风险: 银行给你贷款,不是凭感觉,而是用信用评分模型计算你违约的概率。保险公司的保费,是基于大量历史数据估计的风险概率。
A/B测试: 你看到的网页按钮是红色的,另外一半用户看到的是蓝色的。哪个颜色的点击率更高?这是一个概率统计问题——在观察到的数据下,两种颜色的真实效果差异,有多大的概率不是随机波动?每一个互联网产品的每一个设计决策,背后都有A/B测试,背后都有概率推断。
推荐系统的不确定性处理: 矩阵分解给了推荐系统预测评分的工具,但评分预测本身是不确定的。概率框架让推荐系统不只是给出"你可能喜欢这个"的点估计,而是给出"你有80%的概率喜欢这个,有20%的概率不喜欢"的概率分布,从而在探索(尝试新内容)和利用(推送已知喜欢的内容)之间做出更好的权衡。
小结:你学过的,在这里
| 你学过的 | 学习阶段 | 它在现实世界里是什么 |
|---|---|---|
| 可能性的直觉 | 小学 | 所有概率推理的认知起点 |
| 频率与概率 | 初中 | 机器学习需要大量数据的数学原因 |
| 古典概型 | 初中 | 等可能事件的概率计算,密码学的基础 |
| 加法公式 | 高中 | 并集概率,多条件判断的基础 |
| 乘法公式 | 高中 | 独立事件的联合概率,朴素贝叶斯分类器 |
| 条件概率 | 高中 | 所有依赖上下文的判断,语言模型的核心 |
| 独立事件 | 高中 | 特征独立假设,简化复杂概率计算 |
| 二项分布 | 高中 | 质量检测、临床试验、民意调查 |
| 期望 | 高中 | 保险定价、赌场设计、投资预期收益 |
| 全概率公式 | 大学 | 从多个原因计算结果的总概率 |
| 贝叶斯定理 | 大学 | 垃圾邮件过滤、医疗诊断、自动驾驶感知 |
| 正态分布 | 大学 | 自然界最普遍的分布,误差分析的基础 |
| 大数定律 | 大学 | 为什么机器学习需要大数据 |
| 最大似然估计 | 大学 | 机器学习"训练"的数学含义 |
概率给了我们在不确定性里做判断的工具。
但判断不是终点。
医生判断了你可能是流感,然后呢?要选择治疗方案。工厂知道了各条生产线的效率,然后呢?要分配资源。推荐系统预测了你的偏好,然后呢?要决定推送什么。
判断之后,是选择。
选择,需要找到最优解。
有无数种可能的方案,有无数种可能的参数组合,哪一个最好?怎么系统性地找到它?
这是另一个真实的问题,逼出了另一个数学工具。
你在高中学过它的起点:导数。
它告诉你,在一个函数的任意一点,往哪个方向走,函数下降最快。
沿着那个方向走,就是找到最优解的方法。
这个方法,叫梯度下降。
它是所有AI系统自动学习的引擎。
__
第四章 优化——找到最好的那个
一行公式,驱动了所有AI的学习
1986年,三个研究者发表了一篇论文。
论文的题目很技术性,没有什么戏剧感。但它解决了一个困扰人工智能研究者将近二十年的问题:
怎么让一个有很多层的神经网络,自动调整它的参数?
这篇论文提出的方法,叫反向传播。
它的数学核心,是梯度下降。
梯度下降的核心,是导数。
导数,你在高中就学过。
今天,ChatGPT有1750亿个参数。训练它的过程,是把这1750亿个数字反复调整,每一次调整都用同一个操作:计算导数,沿着导数指示的方向,把参数移动一小步。
这个操作,重复了数万亿次。
一行公式,重复数万亿次,产生了能和人类对话的AI。
这个公式,建立在你高中学过的导数上。
一、从一个真实的困境开始
想象你站在一座山上,四面都是雾,你看不见远处。
你的目标是走到山谷——最低点。
你能做的,只有感受脚下地面的坡度。坡度告诉你:往哪个方向,地面下降最快。
你沿着下降最快的方向,走一小步。
然后再感受坡度,再走一小步。
反复下去,你会走到某个低点。
这就是梯度下降的全部直觉。
现在把这个直觉翻译成机器学习的语境:
山,是损失函数——衡量机器当前的预测有多错误。山越高,错误越大。
山谷,是最优解——损失函数最小的地方,机器预测最准确的参数组合。
坡度,是梯度——损失函数在当前参数位置的导数。告诉你,往哪个方向调整参数,错误下降最快。
走一小步,是参数更新——沿着梯度的反方向,把参数移动一小步。
反复做,直到到达山谷——损失函数不再显著下降,参数收敛。
这就是AI"学习"的数学本质。
二、你已经知道的那些
导数这个词,你在高中数学里遇到过。
老师告诉你,导数是函数的变化率。
几何意义:导数是函数曲线在某点的切线斜率。斜率为正,函数在上升。斜率为负,函数在下降。斜率为零,函数在极值点——峰顶或谷底。
你学过常见函数的导数:
你学过导数的四则运算法则:和的导数,积的导数,商的导数。
你也许学过链式法则:复合函数的导数,等于外层函数的导数乘以内层函数的导数。
你当时可能做了很多求导的练习题,觉得这是纯粹的计算技巧。
但链式法则,是深度学习的数学心脏。
没有链式法则,就没有反向传播。没有反向传播,就没有深度学习。没有深度学习,就没有现代AI。
三、知识点全景
初中阶段:
- 函数的概念——(初中)——输入一个数,输出一个数。机器学习里的模型,就是一个复杂的函数:输入数据,输出预测。
- 最大值与最小值——(初中)——函数在某个范围里的最高点和最低点。优化的目标,就是找到损失函数的最小值。
- 函数的图像——(初中)——函数的可视化。理解梯度下降,需要能在脑子里想象函数曲线的形状。
高中阶段:
- 函数的增减性——(高中)——函数在哪里上升,在哪里下降。导数的符号决定了函数的增减性:导数为正,函数上升;导数为负,函数下降。
- 导数:变化的速率——(高中)——函数在某点的瞬时变化率。这是梯度下降最核心的工具。
- 导数的几何意义:切线斜率——(高中)——导数是曲线在某点切线的斜率。正斜率向右上倾,负斜率向右下倾,零斜率水平——极值点。
- 极值的条件:导数为零——(高中)——函数在极大值或极小值处,导数为零。梯度下降收敛时,参数在损失函数的(局部)极小值处,梯度接近零。
- 导数的四则运算法则——(高中)——和、差、积、商的求导规则。神经网络的损失函数是很多函数的组合,这些规则让求导可以系统化。
- 链式法则——(高中/大学)——复合函数的导数规则。反向传播的数学基础,没有它就没有深度学习。
大学阶段:
- 偏导数——(大学)——多变量函数,对某一个变量求导,其他变量视为常数。神经网络有数亿个参数,每个参数都需要一个偏导数。
- 梯度:偏导数组成的向量——(大学)——所有偏导数放在一起,构成梯度向量。梯度指向函数上升最快的方向,梯度的反方向是下降最快的方向。
- 梯度下降——(大学)——沿着梯度反方向移动参数,反复迭代,找到函数最小值。这是机器学习训练的核心算法。
- 凸函数与非凸函数——(大学)——凸函数只有一个最小值(全局最小),非凸函数有很多局部最小值。深度学习的损失函数是非凸的,梯度下降找到的,通常是局部最小值,而不是全局最小值。但实践中,局部最小值往往已经足够好。
- 学习率——(大学/工业)——每次参数更新的步长大小。太大,可能越过最小值,来回震荡;太小,收敛太慢。选择合适的学习率,是深度学习训练的重要技巧。
- 损失函数——(大学/研究生)——衡量预测错误程度的函数。均方误差用于回归,交叉熵用于分类。损失函数的选择,决定了模型在优化什么。
- 随机梯度下降(SGD)——(大学/研究生)——不是用全部数据计算梯度,而是每次随机选一小批数据。大大加速了训练过程,是实际训练大模型的标准方法。
- 正则化——(大学/研究生)——在损失函数里加入惩罚项,防止模型过拟合——在训练数据上表现很好,在新数据上表现差。
四、那一行公式
现在看这行公式:
这是梯度下降的参数更新规则。每个符号都有清晰的含义:
这一行公式说的事情是:
看看现在的错误在哪个参数方向上增大最快,然后朝相反的方向,移动一小步。
重复这个操作,错误会越来越小,直到收敛。
这就是学习。
一个有1750亿个参数的语言模型,在训练过程中,这行公式被执行了数万亿次。每一次,1750亿个参数都被微微调整。调整完成之后,这个模型能写代码,能讨论哲学,能帮你起草邮件。
从一行公式,到这个结果,中间是数万亿次的重复。
五、链式法则:反向传播的心脏
神经网络有很多层。每一层都是一个函数。整个网络,是很多层函数的复合。
输入进来,经过第一层变换,再经过第二层变换,再经过第三层……最终输出一个预测。然后和正确答案比较,计算损失。
现在问题来了:这个损失,是每一层的参数共同造成的。要更新每一层的参数,需要知道损失对每一层每个参数的偏导数。
怎么计算?
链式法则。
从输出层开始,把损失对参数的偏导数,一层一层地往回传——从最后一层传到倒数第二层,再传到倒数第三层……一直传到第一层。
每传一层,就用链式法则乘上那一层的局部导数。
这个过程,叫反向传播——从输出往输入方向,反向传播梯度信息。
反向传播让每一层的参数都知道:我应该往哪个方向调整,才能让最终的损失减小。
这是1986年那篇论文的核心贡献。
六、目标函数是谁定的
在我们继续之前,有一个问题需要在这里被种下。
梯度下降是一个强大的工具。给它一个目标函数,它会不知疲倦地把参数往那个目标的方向推。数万亿次更新,每次都朝着那个目标靠近一点点。
但这个目标函数,是谁定义的?
在技术文档里,损失函数的选择通常被处理为工程问题:均方误差、交叉熵、哪种损失函数在哪类任务上效果更好。
但损失函数不只是工程问题。它是一个价值选择:
你让机器优化什么,机器就会把一切往那个方向推。
如果你让机器优化用户的点击率,它会学会什么让人忍不住点。如果你让机器优化参与时长,它会学会什么让人停不下来。如果你让机器优化广告收入,它会学会什么让人忍不住消费。
机器没有意志,没有价值观,没有对错。它只是在忠实地执行梯度下降,朝着损失函数的最小值走。
损失函数是中性的数学工具。
但选择损失函数,不是中性的行为。
这粒种子,会在这本书的最后一章,以及下一本书里,长成一棵树。
现在,我们先继续往前走。
七、优化今天在哪里
工程设计: 飞机机翼的形状,需要在升力、阻力、重量之间找到最优平衡。这是一个高维优化问题——机翼形状有无数种参数,目标函数是综合性能指标。用梯度下降的变体求解,每一架现代飞机的气动设计背后都有大规模优化计算。
物流与供应链: 快递公司每天要规划数百万个包裹的配送路线。哪个司机走哪条路线,在哪里中转,如何安排时间,让总成本最小。这是组合优化问题,是梯度下降的亲戚——用不同的优化算法,在约束条件下找最优解。
芯片设计: 现代处理器有数百亿个晶体管,需要在几平方厘米的面积上布局。布局方案的优劣,影响芯片的速度和功耗。2021年,Google用强化学习(优化算法的一种)自动设计芯片布局,结果超过了人类工程师。
蛋白质折叠: AlphaFold用深度学习预测蛋白质的三维结构。训练这个模型,用的是梯度下降。这个问题困扰了生物学家五十年,AlphaFold在几年内解决了数亿种蛋白质的结构预测,为药物研发带来了革命性的工具。
所有深度学习模型的训练: 图像识别、语音识别、机器翻译、语言模型、推荐系统——所有这些模型,训练过程都是梯度下降。优化算法的效率,直接决定了模型训练的速度和质量。Adam、RMSprop、AdaGrad——这些是梯度下降的改进版本,今天所有大模型训练都在使用。
小结:你学过的,在这里
| 你学过的 | 学习阶段 | 它在现实世界里是什么 |
|---|---|---|
| 函数的概念 | 初中 | 机器学习模型的数学本质 |
| 最大值与最小值 | 初中 | 优化问题的目标:找损失函数的最小值 |
| 函数的增减性 | 高中 | 导数符号判断参数该增大还是减小 |
| 导数:变化率 | 高中 | 梯度下降的核心工具 |
| 切线斜率 | 高中 | 导数的几何直觉,理解梯度的起点 |
| 极值条件:导数为零 | 高中 | 梯度下降收敛时参数停在极小值处 |
| 四则运算求导 | 高中 | 复杂损失函数的求导基础 |
| 链式法则 | 高中/大学 | 反向传播的数学心脏,深度学习的基础 |
| 偏导数 | 大学 | 对每个参数单独求导,多参数优化的基础 |
| 梯度 | 大学 | 所有偏导数组成的向量,指示下降方向 |
| 梯度下降 | 大学 | 所有AI系统训练的核心算法 |
| 凸与非凸函数 | 大学 | 理解为什么深度学习找到局部而非全局最优 |
我们现在有了三个工具。
矩阵处理关系。概率处理不确定性。优化找到最优解。
但这三个工具,处理的都是数值——数字、向量、矩阵。
真实世界里,很多重要的信息,不是数值,而是结构。
城市的道路网络。互联网的链接网络。人与人之间的社交网络。知识和知识之间的关联网络。
这些网络有一个共同的特征:节点,和节点之间的连接。
处理这种结构,需要另一个工具。
它诞生于1736年,起因是一个关于散步的数学问题。
一个叫柯尼斯堡的城市,有七座桥。有人问:能不能走一条路,每座桥只经过一次,最后回到出发点?
一个叫欧拉的数学家,用半页纸回答了这个问题。
他在回答的过程中,发明了图论。
__
第五章 图论——连接就是权力
1736年的一个散步问题,变成了社交帝国的数学地基
1736年,普鲁士有一座城市叫柯尼斯堡。
城市被一条河分成四块陆地,七座桥把它们连接起来。
当地人有一个消遣:能不能走一条路,每座桥恰好经过一次,最后回到出发点?
没有人能做到,但也没有人能证明这是不可能的。
这个问题传到了数学家莱昂哈德·欧拉那里。
欧拉用了一个当时前所未有的方法:他把四块陆地抽象成四个点,把七座桥抽象成七条线。
然后他证明了:这条路不存在。
证明的关键,不是某个复杂的计算,而是一个简单的观察:如果你要进入一块陆地,就必须能离开它。所以每块陆地连接的桥数,必须是偶数——除非它是起点或终点。
柯尼斯堡的四块陆地,都连接着奇数座桥。所以这条路不可能存在。
欧拉用半页纸,解决了一个让所有人困惑的问题。
更重要的是,他在解决这个问题的过程中,发明了一个全新的数学分支。
这个分支叫图论。
两百八十年后,它成为了Google搜索的骨架,Facebook社交网络的基础,知识图谱的语言,以及流行病传播模型的核心工具。
这个数学,你在高中就接触过了它的起点。
一、把世界画成点和线
图论的核心直觉,极其简单:
把事物画成点,把关系画成线。
城市是点,道路是线。网页是点,链接是线。人是点,认识关系是线。概念是点,关联是线。
任何"谁和谁有什么关系"的问题,都可以用图来表示。
一旦表示成图,所有的关系问题——谁最重要,怎么传播,哪里最脆弱,从A到B最短的路是什么——都有了数学工具可以回答。
这是图论最深刻的地方:它不是关于某种特定事物的数学,它是关于关系本身的数学。
任何存在关系的地方,图论都适用。
二、你已经知道的那些
你在小学学过点和线的基本概念——几何里的点、线、面。
你在初中学过集合——元素和元素之间的关系。
你在高中学过一些隐含图论思想的问题——最短路径,网络流,有时候以"统筹方法"或"优化路线"的形式出现。
你也许在高中数学的"算法与程序框图"里,看过流程图——那是一种有向图。
你学过排列组合——从n个元素里选k个,这和图里的路径计数问题有直接联系。
这些知识点,现在要被连接起来,放进一个更大的框架里。
三、知识点全景
小学/初中阶段:
- 点、线、面的基本概念——(小学)——图论里节点和边的直觉起点。几何里的点是位置,图论里的节点是实体;几何里的线是形状,图论里的边是关系。
- 集合与关系——(初中)——节点的集合,边的集合,构成了图的数学定义。集合运算,对应图的操作。
- 排列与组合——(初中/高中)——图里有多少条路径,有多少种连接方式——这类计数问题,建立在排列组合上。
高中阶段:
- 函数与映射——(高中)——图可以被理解为一种映射:从节点到节点的关系映射。有向图里,边定义了一个从起点到终点的映射。
- 矩阵——(高中/大学,见第二章)——图可以用矩阵表示。邻接矩阵:节点i和节点j之间有边,矩阵(i,j)位置为1,否则为0。第二章的矩阵工具,在这里和图论相遇。
- 统筹方法与最优路线——(高中)——这是图论最短路径问题的高中版本。从A城到B城,经过哪些中转点总距离最短——这就是图论里的最短路径问题。
大学阶段:
- 图的定义:节点与边——(大学)——图G = (V, E),V是节点集合,E是边的集合。这是图论的形式化起点。
- 有向图与无向图——(大学)——边有方向(A指向B,但B不指向A)是有向图;边没有方向(A和B互相连接)是无向图。网页链接是有向图,朋友关系通常是无向图。
- 路径与回路——(大学)——从一个节点出发,经过一系列边,到达另一个节点,这是路径。如果起点和终点相同,是回路。欧拉的柯尼斯堡问题,就是在问是否存在特定类型的回路。
- 连通性——(大学)——图里任意两个节点之间,是否存在路径。一个图如果所有节点都互相可达,是连通图。互联网是连通图——从任意一个网页出发,通过足够多的链接,可以到达任意另一个网页。
- 树与生成树——(大学)——没有回路的连通图,叫树。树是最简洁的连通结构——n个节点,恰好n-1条边。文件夹的层级结构、家族的族谱、决策树——都是树形结构。
- 最短路径算法:Dijkstra算法——(大学)——给每条边一个权重(距离、时间、成本),找从起点到终点权重之和最小的路径。GPS导航的核心算法。给定你的当前位置和目的地,Dijkstra算法在地图的图结构里,找到最短的驾驶路线。
- 图的矩阵表示:邻接矩阵与度矩阵——(大学)——把图的连接关系,写成矩阵。矩阵的幂,对应图里特定步数的路径数量。第二章的矩阵,和这章的图,在这里融合。
- 度与度分布——(大学)——一个节点连接了多少条边,叫这个节点的度。网络里所有节点的度的分布规律,揭示了网络的结构特征。互联网和社交网络,都遵循幂律分布——少数节点有极高的度(枢纽节点),大多数节点只有少量连接。
- 中心性:谁最重要——(大学)——度中心性(连接最多的节点),介数中心性(最多路径经过的节点),特征向量中心性(被重要节点连接的节点)。PageRank是特征向量中心性的一个变体。
- 小世界网络——(大学/研究生)——在大多数真实网络里,任意两个节点之间的平均路径长度,远小于网络的规模。"六度分隔"——地球上任意两个人,通过不超过六个中间人可以相互认识——是小世界网络的一个体现。
- 无标度网络——(大学/研究生)——度分布遵循幂律的网络。互联网、社交网络、引用网络,都是无标度网络。少数枢纽节点掌握了绝大多数的连接——这是权力在网络里的分布规律。
四、图论和矩阵相遇
第二章里,我们学了矩阵是关系的语言。
第五章里,我们学了图是关系的结构。
这两者之间,有一座桥——邻接矩阵。
把图里的每个节点编号。然后建一个矩阵,行和列都是节点编号。如果节点i和节点j之间有边,矩阵的(i,j)位置写1,否则写0。
这就是邻接矩阵。
现在,矩阵的所有工具,都可以用于图了。
矩阵的幂有一个神奇的性质:
特征值和特征向量——第二章的核心工具——用在邻接矩阵上,就给出了网络里最重要的节点排名。
PageRank,是图论和线性代数相遇的产物。
整个互联网是一个有向图。邻接矩阵的最重要特征向量,就是所有网页的重要性排名。
这就是Google搜索的完整数学链条:
图论(互联网是有向图)→ 线性代数(邻接矩阵的特征向量)→ PageRank(重要性排名)→ 搜索结果
五、知识图谱:让机器理解关系
图论在AI里最重要的应用之一,是知识图谱。
知识图谱,是把人类知识组织成图的尝试。
节点是实体——人、地点、事物、概念。边是关系——"出生于"、"属于"、"发现了"、"是……的首都"。
比如:
- 爱因斯坦 → 出生于 → 德国
- 爱因斯坦 → 发现了 → 相对论
- 相对论 → 属于 → 物理学
- 德国 → 位于 → 欧洲
这样的三元组,数以亿计,构成了一个巨大的知识网络。
当你在Google搜索"爱因斯坦的出生地",返回的不是一个网页,而是直接从知识图谱里查询的答案:德国乌尔姆。
这是符号AI最成功的现代形态——不是用逻辑规则推理,而是用图结构存储关系,用图查询回答问题。
Google的知识图谱有超过5000亿个事实。Wikidata有超过100亿个关系。这些知识图谱,是今天所有AI系统理解世界的重要基础之一。
六、社交网络:连接的政治经济学
Facebook,微信,LinkedIn,Twitter——这些平台的数学核心,是图。
每个用户是一个节点。每一段关系——朋友、关注、认识——是一条边。整个平台,是一个有数十亿节点、数千亿条边的巨大图。
图论的工具,在这里产生了巨大的商业价值:
"你可能认识的人"——基于图里的共同邻居。你和某人有很多共同朋友,你们很可能也认识。这是图论里"共同邻居"的直接应用。
"为你推荐"——基于图里的相似性。在社交图里,和你距离近的用户,喜欢的内容也和你相似。推荐系统利用图的结构,找到和你相似的用户,把他们喜欢的内容推荐给你。
信息传播——图的连通性决定了信息能传多远、传多快。一条消息从一个节点出发,沿着图的边传播。枢纽节点——连接最多的那些——是信息传播的放大器。这也是为什么拥有大量粉丝的账号,一条推文可以在几小时内触达数百万人。
影响力的测量——图的中心性度量,直接对应了社会影响力。度中心性高的人,直接连接了最多的人。介数中心性高的人,是不同群体之间的桥梁,信息流通的关键节点。特征向量中心性高的人,被其他重要的人所连接。
但图论揭示的,不只是商业价值。
它也揭示了权力的结构。
一个无标度网络里,少数枢纽节点掌握了绝大多数的连接。这意味着:在一个自然生长的网络里,权力不是均匀分布的,而是高度集中的。
互联网的流量,集中在少数几个平台。社交网络的影响力,集中在少数几个账号。信息的传播,依赖少数几个枢纽节点的转发。
这不是某人的阴谋,这是网络自然生长的数学规律——马太效应:连接越多的节点,越容易获得新的连接,强者恒强。
图论,让我们看见了这个规律。
七、流行病传播:图论救了多少命
2020年,新冠病毒开始传播。
流行病学家面对的核心问题:病毒会传播到哪里?传播速度多快?什么样的干预措施最有效?
回答这些问题,用的工具之一,是图论。
把人与人之间的接触关系,画成图。节点是人,边是有足够密切接触、可能传播病毒的关系。
病毒沿着图的边传播。初始感染者是图里的一个节点,病毒经过边传播到邻居节点,再从邻居传到邻居的邻居……
图的结构决定了传播的速度和范围:
- 连通性高的图,传播快,范围广。
- 枢纽节点(超级传播者)被感染,会引发爆发性传播。
- 切断关键的边(隔离高风险接触),可以有效减缓传播。
封城、隔离、减少接触——这些政策的数学依据,是图论的连通性和传播模型。
切断足够多的边,让图的连通性低于临界阈值,传播就会自然衰减。
图论,不只是互联网公司的工具。在公共卫生危机里,它是政策决策的数学基础。
八、图论今天在哪里
GPS导航: 你输入目的地,导航给出最优路线。这是Dijkstra算法(或其变体)在地图图结构上的应用。城市是节点,道路是带权重的边(权重是距离或时间),算法找到总权重最小的路径。每一次导航,都是一次图论计算。
电网与基础设施: 电力系统是一个图——发电站、变电站、用户是节点,输电线路是边。当一条输电线路故障,会影响哪些区域?备用路径是什么?这是图的连通性和故障传播分析问题。
推荐系统的图神经网络: 现代推荐系统,越来越多地使用图神经网络——把用户、物品、标签构建成图,用神经网络学习图结构里的模式。这是图论和神经网络(第八章)的结合。
知识图谱与问答系统: 语言模型回答"谁发现了青霉素",背后是知识图谱的查询。图论提供了知识的结构,语言模型提供了理解问题和生成回答的能力。两者结合,是今天AI助手回答事实性问题的主要方式。
芯片设计与电路布局: 处理器上的晶体管连接关系,是一个图。优化布局,减少连线长度,是图论的优化问题。
药物研发: 分子结构是图——原子是节点,化学键是边。图神经网络分析分子图,预测药物的性质,加速新药发现。AlphaFold预测蛋白质结构,也大量使用了图的思想。
小结:你学过的,在这里
| 你学过的 | 学习阶段 | 它在现实世界里是什么 |
|---|---|---|
| 点和线的概念 | 小学 | 图论节点和边的直觉起点 |
| 集合与关系 | 初中 | 图的数学定义基础 |
| 排列组合 | 初中/高中 | 图里路径计数问题的工具 |
| 矩阵(见第二章) | 高中/大学 | 图的邻接矩阵表示,图论和线性代数的桥梁 |
| 最优路线问题 | 高中 | Dijkstra最短路径算法的高中版本 |
| 图的基本定义 | 大学 | 任何关系网络的数学表达 |
| 有向图与无向图 | 大学 | 网页链接(有向)vs 朋友关系(无向) |
| 连通性 | 大学 | 信息能否在网络里流通,疾病能否传播 |
| 最短路径算法 | 大学 | GPS导航的数学核心 |
| 邻接矩阵 | 大学 | 图论与线性代数的融合,PageRank的基础 |
| 中心性 | 大学 | 影响力的数学度量,PageRank的图论来源 |
| 幂律分布与无标度网络 | 大学/研究生 | 互联网权力集中的数学原因 |
我们现在有四个工具。
矩阵处理关系。概率处理不确定性。优化找到最优解。图论描述网络结构。
这四个工具,处理的都是某种已知的结构——关系、概率、目标、连接。
但还有一个更基础的问题没有被回答:
信息本身,是什么?
一条消息携带了多少信息?信息能被压缩到多小?在嘈杂的环境里,信息能被可靠传输吗?
这些问题,在1948年之前,没有严格的数学答案。
那一年,一个在贝尔实验室工作的数学家,用一篇论文,给出了答案。
他把"信息"变成了一个可以被精确测量的量。
这个量,建立在你高中学过的对数上。
它叫熵。
__
第六章 信息论——信息是可以被称重的
一个1948年的天才,定义了数字文明的基础单位
1948年,克劳德·香农在《贝尔系统技术期刊》上发表了一篇论文。
论文的题目是《通信的数学理论》。
在这篇论文里,香农做了一件在此之前没有人做过的事:
他定义了"信息"是什么。
不是哲学意义上的定义,不是模糊的描述,而是一个精确的数学定义——信息可以被测量,有单位,有计算公式。
这个定义,是今天所有数字通信的基础。
你手机里的每一张照片,经过压缩,体积缩小了几十倍,但你几乎看不出画质损失。这背后是香农的信息论。
你发的每一条微信语音,在嘈杂的网络里被可靠传输。这背后是香农的信道编码理论。
你下载的每一个文件,每一段视频,每一首歌——互联网能够承载这一切,因为信息可以被高效压缩和可靠传输。这一切,都建立在1948年那篇论文上。
语言模型预测下一个词,用的损失函数叫交叉熵。
交叉熵,来自信息论。
这个数学,建立在你高中学过的对数上。
一、一个让你感受到信息量的问题
先做一个思想实验。
有两条天气预报:
第一条: "明天撒哈拉沙漠晴天。"
第二条: "明天上海晴天。"
哪条携带的信息量更多?
直觉告诉你:第一条。
因为撒哈拉沙漠几乎每天都是晴天,这条预报告诉你的,是你本来就知道的事情——几乎没有新信息。
但上海的天气变化多端,晴天、阴天、雨天都有可能。"明天晴天"这条预报,真正告诉了你一些不确定的事情——携带了真实的信息。
香农的核心洞见是:
一个事件携带的信息量,与它发生的概率成反比。越意外的事情,携带越多信息。越平凡的事情,携带越少信息。
这个洞见,可以被数学化。
二、你已经知道的那些
你在高中学过对数。
对数把乘法变成加法:
你学过对数函数的图像——它增长得越来越慢。x从1增加到2,对数增加了1。x从2增加到4,对数才又增加1。x从4增加到8,对数再增加1。
你也许当时觉得,对数是一个奇怪的数学工具,出现在一些复杂的计算里,但不清楚它的直觉是什么。
对数的直觉是:它衡量的是"数量级"——需要多少个2相乘才能得到这个数。
这个直觉,和信息论直接相连。
三、知识点全景
小学/初中阶段:
- 进制与编码:二进制——(初中)——计算机用0和1存储所有信息。一个二进制位(bit)可以表示两种状态:0或1。这是信息的最小单位,也是信息论的起点。
- 对数的基本概念——(初中/高中预备)——
是"a的几次方等于b"的答案。信息论用以2为底的对数,因为信息的基本单位是比特(bit),对应二进制。
高中阶段:
- 对数的定义与性质——(高中)——
(乘法变加法), (除法变减法)。这些性质,是信息量计算的数学基础。 - 对数函数的图像与性质——(高中)——对数函数单调递增,增长越来越慢。概率越小的事件,
越大——信息量越多。 - 指数函数与对数函数的关系——(高中)——互为反函数。指数增长对应对数压缩——这是数据压缩的直觉基础。
- 概率——(高中,见第三章)——信息论建立在概率上。一个事件的信息量,由它的概率决定。
大学阶段:
- 自信息量:一个事件的信息——(大学)——事件x发生的信息量定义为
。概率为1的事件,信息量为0(你早就知道了)。概率为1/2的事件,信息量为1比特(抛硬币的结果)。概率为1/8的事件,信息量为3比特(需要3个是/否问题才能确定)。 - 香农熵:整个分布的平均信息量——(大学)——
对所有可能的结果,把"概率乘以信息量"加起来,取平均。熵衡量的是整个分布的不确定程度——不确定性越高,熵越大。
- 联合熵与条件熵——(大学)——两个变量一起的不确定性,以及已知一个变量后另一个变量的剩余不确定性。
- 互信息——(大学)——两个变量共享多少信息。知道X之后,Y的不确定性减少了多少。互信息为零,意味着两个变量完全独立。
- KL散度——(大学/研究生)——衡量两个概率分布之间的差异。用分布Q去近似分布P,额外需要付出多少信息代价。
- 交叉熵——(大学/研究生)——用分布Q来编码实际分布为P的信息所需的平均比特数:
当Q等于P时,交叉熵等于熵,取到最小值。交叉熵越大,Q和P差距越大。深度学习最常用的损失函数,就是交叉熵。
- 香农信道容量定理——(大学/研究生)——每个通信信道有一个容量上限C,只要传输速率低于C,就可以做到任意低的错误率。这是信息论最深刻的定理之一——它告诉你,可靠通信在理论上总是可能的,只要你愿意做足够好的编码。
- 数据压缩的极限:香农源编码定理——(大学/研究生)——数据压缩有一个理论下限:平均每个符号至少需要H(X)个比特来编码。熵是压缩的极限,无法突破。
四、熵:不确定性的刻度
现在来看熵的公式:
用一个例子感受它。
情况一: 一枚公平的硬币。正面概率0.5,反面概率0.5。
1比特。这意味着:抛这枚硬币的结果,携带了1比特的信息。你需要1个是/否问题才能确定结果。
情况二: 一枚不公平的硬币。正面概率0.9,反面概率0.1。
只有0.469比特。比公平硬币的1比特小得多。
为什么?
因为这枚硬币几乎总是正面,结果高度可预测,不确定性很低,信息量很小。
情况三: 一个骰子。六个面,每面概率1/6。
2.585比特。比硬币多。因为骰子有更多可能的结果,不确定性更高。
熵的直觉:不确定性越高,熵越大,信息量越多。
一个你完全能预测结果的系统,熵为零,不携带任何信息。一个所有结果等可能的系统,熵最大,每个结果都很意外,信息量最多。
五、压缩:熵是极限
你手机里一张未压缩的照片,可能有好几十兆字节。压缩成JPEG之后,可能只有几百KB,质量几乎没有损失。
压缩是怎么做到的?
本质上,压缩是在利用信息的冗余性。
想象一个文本文件,里面有大量重复的内容。比如,字母"e"出现的频率远高于字母"z"。
如果用固定长度的编码——每个字母都用8个比特——那么常见的"e"和罕见的"z"占用的空间是一样的。这很浪费。
更聪明的做法:给常见的字母分配更短的编码,给罕见的字母分配更长的编码。"e"用2个比特表示,"z"用12个比特表示。整体上,平均每个字母占用的比特数,会远小于8。
这就是哈夫曼编码——一种接近最优的压缩方法。
香农证明了:任何压缩方法,平均每个符号至少需要H(X)个比特。熵是压缩的理论下限,无法突破。
这意味着:熵不只是一个抽象的数学量,它是信息压缩能力的物理极限。
ZIP、MP3、JPEG、H.264视频编码——所有这些压缩算法,都是在尽力逼近这个由熵决定的理论极限。
六、交叉熵:深度学习的损失函数
现在我们来到信息论和深度学习的交汇点。
训练一个分类模型——比如识别图片里是猫还是狗。
模型输出的是一个概率分布Q:它认为这张图片是猫的概率是0.7,是狗的概率是0.3。
真实答案是一个分布P:这张图片是猫,概率1;是狗,概率0。
我们想衡量:模型的预测Q和真实情况P有多大差距?
用交叉熵:
对这个例子:
如果模型预测得更准,比如猫的概率是0.95:
交叉熵更小,说明预测更接近真实。
当模型完全正确,猫的概率预测为1:
交叉熵为零。完美预测,零损失。
这就是为什么交叉熵是深度学习最常用的损失函数。
它有清晰的信息论含义:用模型的预测分布Q,来编码真实分布P的信息,所需要的额外比特数。模型预测越准,这个额外代价越小。
梯度下降(第四章)最小化交叉熵(第六章)。
优化和信息论,在这里相遇。
七、语言模型的困惑度
语言模型有一个评估指标,叫困惑度(Perplexity)。
困惑度衡量的是:模型对语言有多"困惑"——对下一个词的预测,平均有多不确定。
困惑度越低,模型对语言的掌握越好。
困惑度的数学定义,直接来自信息论:
它是交叉熵的指数变换。如果模型的交叉熵是H,困惑度是
困惑度为10,意味着模型预测每个词时,感觉像是在10个等可能的候选里随机选。困惑度为2,意味着模型对下一个词有极强的把握。
GPT-4的困惑度,在标准测试集上,已经接近人类水平。
这个指标,是信息论对语言模型能力的数学测量。
八、信息论今天在哪里
所有数字通信: 你的手机信号、WiFi、5G网络——都用到了信道编码,确保信息在噪声环境里可靠传输。香农信道容量定理,给出了每种信道能传输信息量的理论上限。工程师的工作,是设计尽量接近这个上限的编码方案。
数据存储: 硬盘、SSD、云存储——存储的本质是编码。如何用尽量少的比特,存储尽量多的信息?这是信源编码问题,信息论给出了理论极限和实现方法。
二维码与纠错码: 二维码可以在部分损坏的情况下,仍然被正确读取。这是纠错码——在信息里加入冗余,使得即使部分信息丢失或损坏,也能恢复原始内容。纠错码的设计,建立在信息论上。
密码学: 一次性密码本(One-Time Pad)是理论上无法破解的加密方案。香农用信息论证明了它的完美安全性——密文和明文之间的互信息为零,密文不携带任何关于明文的信息。现代密码学的安全性分析,大量使用信息论工具。
机器学习的特征选择: 在建立预测模型之前,需要从大量特征里选择最有用的。互信息衡量一个特征和目标变量共享多少信息——互信息高的特征,对预测更有帮助。特征选择,是信息论在机器学习里的直接应用。
神经网络的信息瓶颈理论: 一个深度神经网络,从输入到输出,在做什么?信息瓶颈理论用信息论的语言描述:网络在压缩输入里的无关信息,同时保留对输出预测有用的信息。这是理解深度学习为什么有效的一个信息论视角。
九、香农的遗产
香农在1948年那篇论文里,解决了几个此前没有人能回答的问题:
信息可以被量化——用熵测量。信息可以被压缩——极限是熵。信息可以被可靠传输——只要速率低于信道容量。
这三个结论,奠定了整个数字时代的技术基础。
没有信息论,就没有高效的数据压缩。没有压缩,互联网无法承载今天的流量。没有信道编码,无线通信无法可靠工作。没有交叉熵损失函数,深度学习的训练会更困难。
香农是一个在贝尔实验室工作的工程师,他的论文解决的是通信系统的实际问题。
但他发明的数学语言,比任何具体的工程应用都更持久。
它成为了信息时代的基础语言——测量信息、压缩信息、传输信息、学习信息的共同框架。
小结:你学过的,在这里
| 你学过的 | 学习阶段 | 它在现实世界里是什么 |
|---|---|---|
| 二进制 | 初中 | 信息的最小单位比特,所有数字信息的基础 |
| 对数的定义 | 高中 | 信息量的计算基础, |
| 对数的性质(乘法变加法) | 高中 | 独立事件信息量可以相加的数学原因 |
| 对数函数的图像 | 高中 | 理解熵为什么用对数衡量不确定性 |
| 概率(见第三章) | 高中 | 熵建立在概率分布之上 |
| 自信息量 | 大学 | 单个事件携带的信息量 |
| 香农熵 | 大学 | 整个分布的平均不确定性,压缩的理论极限 |
| 互信息 | 大学 | 特征选择,两个变量的信息共享程度 |
| KL散度 | 大学/研究生 | 衡量两个分布的差异 |
| 交叉熵 | 大学/研究生 | 深度学习最常用的损失函数 |
| 信道容量 | 大学/研究生 | 通信系统传输速率的理论上限 |
我们现在有了五个工具。
矩阵处理关系。概率处理不确定性。优化找到最优解。图论描述网络结构。信息论量化信息。
这五章,各自解决了一类真实的问题。
但它们彼此之间,还有一个尚未被充分连接的问题:
语言,怎么被数学化?
"猫"和"狗","国王"和"王后"——这些词之间的关系,这些词携带的意义,怎么被表示成可以计算的数学对象?
人类语言里有几十万个词。这些词之间有无数种关系——相似性、反义、上下位关系、类比关系。
把这种关系,放进一个数学空间,让相似的词靠近,让类比关系变成向量运算——这需要第二章矩阵工具的深层扩展。
这个扩展,让"国王减去男人加上女人等于王后"成为可计算的事实。
它叫奇异值分解。
你在大学线性代数里学过它。
你当时可能觉得它是最难懂的章节之一。
现在你会看见,它在做一件极其优雅的事情:找到数据里最重要的方向。
__
第七章 线性代数的深处——给意义一个坐标
国王减去男人加上女人,等于王后
2013年,Google的研究团队发布了一个工具,叫Word2Vec。
他们展示了一个让所有人目瞪口呆的结果:
国王 - 男人 + 女人 ≈ 王后
不是比喻,是字面意义上的数学计算。
他们把每个词,变成了一个高维空间里的向量。然后发现:在这个空间里,"国王"和"王后"之间的距离,和"男人"和"女人"之间的距离,几乎完全相同。
性别关系,变成了向量空间里的一个方向。
类比关系,变成了向量加减法。
语言的意义,被数学化了。
这不是Word2Vec研究者从零发明的。它建立在线性代数里一个已经存在几十年的工具上——奇异值分解。
这个工具,你在大学线性代数里学过。你当时可能觉得它是整本书最难懂的部分之一。
现在你会看见:它在做一件极其优雅的事情——在海量数据里,找到最重要的结构。
一、一个让你感受到高维空间的问题
先做一个思想实验。
你怎么描述一部电影?
你可以说:这部电影动作场面多,这部文艺片成分重,这部偏喜剧,这部特效多,这部剧情复杂,这部节奏快……
每一个维度,都是电影的一个特征。
如果你用数字量化这些特征,每部电影就变成了一个多维空间里的点——比如"动作程度"是第一维,"文艺程度"是第二维,"喜剧程度"是第三维……
相似的电影,在这个空间里靠近。《速度与激情》和《变形金刚》在"动作"维度上靠近。《爱乐之城》和《波西米亚狂想曲》在"音乐"和"文艺"维度上靠近。
Netflix的推荐系统,就是在做这件事——把电影和用户,都放进同一个高维空间,计算距离,找到最近的邻居。
把事物变成高维空间里的点,然后用空间里的距离衡量相似性。
这是第七章的核心直觉。
二、你已经知道的那些
你在初中学过坐标系——用两个数字,确定平面上一个点的位置。(3, 4)是一个点,(1, 2)是另一个点。两点之间的距离,用勾股定理计算。
你在高中学过向量——有大小有方向的量。可以用一列数字表示:(3, 4)是一个二维向量,(1, 2, 5)是一个三维向量。
你学过向量的点积:
点积衡量两个向量的相似程度——方向相同,点积大;方向相反,点积为负;方向垂直,点积为零。
你在大学线性代数里学过矩阵的秩——矩阵里真正独立的信息有多少维。
你也许学过正交矩阵——列向量互相垂直,代表不同方向,互不冗余。
这些,都是第七章的基础。
但现在我们要把它们推进到三维之外——推进到几百维,几千维,甚至更高。
数学不在乎维度是3还是300。计算规则完全一样。
三、知识点全景
初中阶段:
- 坐标与坐标系——(初中)——用数字描述位置。这是把任何事物变成数学对象的基本方法。词可以有坐标,电影可以有坐标,用户可以有坐标。
- 勾股定理——(初中)——两点之间的距离公式。推广到n维空间,就是欧氏距离,衡量任意两个向量的距离。
高中阶段:
- 向量的定义:大小与方向——(高中)——n维空间里的有向量。每个词,每张图片,每个用户,都可以被表示为一个高维向量。
- 向量的加法与减法——(高中)——向量加减法。"国王 - 男人 + 女人",就是向量的加减法运算。
- 向量的数乘——(高中)——向量乘以一个数,长度变化,方向不变。
- 向量的点积——(高中)——
。点积的符号和大小,衡量两个向量方向的相似程度。余弦相似度——两个向量夹角的余弦值——是衡量语义相似性的标准方法。 - 向量的模——(高中)——向量的长度。归一化——把向量除以它的模——让所有向量长度为1,方便比较方向。
大学阶段:
- 线性相关与线性无关——(大学)——一组向量里,有没有冗余的信息。线性无关的向量,每个都贡献了新的方向,没有重复。
- 基与坐标变换——(大学)——用一组基向量来表示空间里的所有点。换一组基,就是换一个看待数据的角度。
- 矩阵的秩——(大学)——矩阵里真正独立的信息维度。秩低于行数或列数,说明数据有冗余,可以压缩。
- 正交矩阵——(大学)——列向量互相垂直、长度为1的矩阵。正交变换保持距离不变,只是旋转视角。
- 特征值分解——(大学)——对称矩阵可以分解为特征向量和特征值的组合。特征向量是数据最重要的方向,特征值是那个方向的重要程度。
- 奇异值分解(SVD)——(大学/研究生)——任意矩阵都可以分解为三个矩阵的乘积。这是本章的核心工具。
- 主成分分析(PCA)——(大学/研究生)——用SVD找到数据最重要的方向,把高维数据投影到低维,保留最多的信息。数据可视化、特征提取、降噪——都用PCA。
- 余弦相似度——(大学)——两个向量夹角的余弦值,衡量方向相似性,不受向量长度影响。搜索引擎的语义匹配,推荐系统的相似度计算,都用余弦相似度。
- Embedding——(研究生/工业)——把离散的符号(词、用户、物品)映射到连续的高维向量空间。这是所有现代语言模型和推荐系统的基础表示层。
四、奇异值分解:找到数据最重要的方向
现在来看这章最核心的工具。
任何矩阵A,都可以被分解为三个矩阵的乘积:
这个分解叫奇异值分解。每个部分都有清晰的含义:
把这三步合起来看:
SVD在做的事情,是找到数据里最重要的方向,然后用这些方向重新表达数据。
最重要的方向,对应最大的奇异值。
现在关键的一步:降维。
如果我们只保留最大的k个奇异值,以及对应的方向,忽略其余的方向——我们就得到了原始矩阵的一个低秩近似。
这个近似,保留了原始数据最重要的结构,丢弃了不重要的细节。
这就是降维。这就是压缩。这就是"在保留最多信息的前提下,用最少的维度表达数据"。
五、一个让你看见SVD的例子
想象一个矩阵,行是用户,列是电影,每个数值是评分。
前两个用户喜欢前两部电影(动作片),不喜欢后两部(文艺片)。后两个用户相反。
对这个矩阵做SVD,最大的奇异值对应的方向,会自动找到"动作片偏好 vs 文艺片偏好"这个区分维度。
不是人告诉算法"这是动作片,那是文艺片",算法从评分数据里,自动发现了这个结构。
SVD在做的,是从数据里自动发现隐藏的结构。
电影有动作/文艺的隐藏维度,用户有对应的隐藏偏好。SVD把这些隐藏维度提取出来。
Netflix的推荐系统,用的正是这个思想——矩阵分解,发现用户和电影的隐藏特征,用这些特征预测评分。
六、从SVD到Embedding:给语言一个坐标
Word2Vec的"国王 - 男人 + 女人 ≈ 王后",怎么实现的?
核心思想,来自语言学的一个古老观察:
一个词的意义,由它的上下文决定。
"银行"这个词,出现在"存款、利率、贷款"附近,是金融机构的意思。出现在"河边、游泳、钓鱼"附近,是河岸的意思。
Word2Vec训练一个神经网络,做这样的任务:给定一个词的上下文,预测这个词。或者反过来,给定一个词,预测它的上下文。
训练完成之后,网络为每个词学到了一个向量。这个向量,编码了这个词的上下文分布——它在什么情况下出现,和什么词一起出现。
因为"国王"和"王后"在很相似的上下文里出现——宫廷、权力、统治——它们的向量方向相近。
因为"男人"和"女人"的差异,是性别维度——和"国王"的性别差异是一样的——所以:
这不是魔法,这是数学空间里关系的自然涌现。
语言里的类比关系——"巴黎之于法国,如同东京之于日本"——在向量空间里,变成了平行的向量差。
这是人类第一次,用数学精确地表达了语言意义的结构。
七、高维空间的直觉
三维空间,你可以想象。
三百维空间,无法想象,但可以计算。
这里有一些高维空间的反直觉事实,值得知道:
高维空间里,距离的含义发生了变化。 在低维空间里,"附近"和"远处"的界限清晰。在高维空间里,大多数点都和其他点"差不多远"——距离变得不那么有区分力。这就是为什么机器学习需要大量数据——高维空间太空旷了,需要足够多的点才能覆盖重要区域。
高维空间里,大多数体积在表面附近。 这和低维直觉完全相反。一个高维球体,几乎所有的体积,集中在靠近表面的薄壳里。这个性质,影响了很多机器学习算法的行为。
但高维空间也有它的优势。 在低维空间里线性不可分的数据(无法用一条直线分开),在足够高的维度里,往往变得线性可分。这是支持向量机和核方法的直觉基础,也是为什么神经网络把数据逐层变换到更高维,然后在高维里做分类。
八、注意力机制的前身
第七章在这里要埋下一个种子,它会在第八章里生长。
Embedding解决了"如何表示一个词"的问题。
但语言不是孤立的词,是有顺序的序列。"我爱你"和"你爱我",用的是同样的词,但意思不同。
更深的挑战:同一个词,在不同上下文里意思不同。
"苹果很好吃"里的"苹果",和"苹果公司发布了新手机"里的"苹果",是不同的含义。
静态的Embedding,给每个词一个固定的向量,无法捕捉这种上下文依赖的意义变化。
解决这个问题,需要一种动态的表示——根据上下文,实时调整每个词的向量。
这个思想,叫注意力机制。
它是第八章的核心,也是Transformer架构——所有现代语言模型的骨架——的心脏。
它的数学,建立在向量点积上。
你在高中学过向量点积。
九、线性代数的深处今天在哪里
推荐系统: Netflix、Spotify、抖音——所有推荐系统的核心,是矩阵分解。用SVD或其变体,把用户-物品评分矩阵分解,发现用户和物品的隐藏特征,预测未知评分。你下一首喜欢的歌,是SVD在高维空间里帮你找到的。
图像压缩: JPEG压缩用到了离散余弦变换,它是SVD的亲戚。把图片矩阵变换到频率域,保留重要的低频成分,丢弃人眼不敏感的高频细节。一张10MB的原始图片,压缩成几百KB,质量几乎不变。
自然语言处理: 所有现代语言模型——BERT、GPT、LLaMA——的第一层,都是Embedding层。把输入的词,变成高维向量,然后后续层在这个向量空间里做变换。Embedding层的质量,直接影响模型对语言的理解能力。
人脸识别: 人脸识别系统,把每张人脸变成一个高维向量(人脸Embedding)。相同的人,向量相近;不同的人,向量远离。认证的过程,是计算输入人脸和数据库里存储的向量的余弦相似度——高于阈值,认证通过。
搜索引擎的语义理解: 关键词匹配只能找到包含相同词的结果。语义搜索,把查询和文档都变成向量,用余弦相似度找到语义最相近的结果——即使用词完全不同。你搜索"心情不好",语义搜索能找到"情绪低落"、"郁闷"相关的内容。
药物研发: 分子结构可以被表示成向量。SVD和深度学习找到分子的隐藏特征,预测分子的生物活性、毒性、药代动力学性质,加速药物筛选,把新药研发从十年压缩到几年。
小结:你学过的,在这里
| 你学过的 | 学习阶段 | 它在现实世界里是什么 |
|---|---|---|
| 坐标与坐标系 | 初中 | 把任何事物表示为空间里的点 |
| 勾股定理 | 初中 | 高维空间里的欧氏距离公式 |
| 向量的定义 | 高中 | 词、图片、用户的数学表示形式 |
| 向量加减法 | 高中 | "国王-男人+女人=王后"的数学操作 |
| 向量点积 | 高中 | 余弦相似度,衡量语义相似性的核心工具 |
| 向量的模 | 高中 | 向量归一化,让相似度只看方向不看大小 |
| 线性相关与无关 | 大学 | 判断特征是否冗余 |
| 矩阵的秩 | 大学 | 数据的真实维度,压缩的可能性 |
| 正交矩阵 | 大学 | SVD分解里的旋转矩阵 |
| 特征值分解 | 大学 | 对称矩阵的主方向和重要程度 |
| 奇异值分解SVD | 大学/研究生 | 任意矩阵的最重要方向,降维和压缩的核心 |
| 主成分分析PCA | 大学/研究生 | SVD在数据降维里的直接应用 |
| 余弦相似度 | 大学 | 语义搜索、推荐系统、人脸识别的相似度度量 |
| Embedding | 研究生/工业 | 所有现代AI系统的输入表示层 |
七章走到这里,我们拥有了七个工具:
逻辑——推理的语言矩阵——关系的语言概率——不确定性的语言优化——寻找最优解的方法图论——网络结构的语言信息论——信息量化的语言线性代数的深处——意义的数学坐标
这七个工具,各自解决了一类真实的问题。
现在,是时候看见它们汇聚的时刻了。
1958年,一个叫弗兰克·罗森布拉特的心理学家,造出了第一个人工神经元——感知机。
它用了矩阵,用了优化,用了概率的直觉。
七十年后,它的后代——Transformer——用了以上所有七个工具。
在那七十年里,发生了什么?
这是第八章的故事。
也是这本书最重要的一章。
__
第八章 神经网络——当所有工具汇聚
七十年,七个工具,一次改变世界的汇聚
2012年9月,一个叫AlexNet的神经网络,参加了一个图像识别比赛。
比赛的任务是:识别图片里的物体,把它分进1000个类别之一。
在此之前,最好的系统错误率是26%左右。
AlexNet的错误率是15.3%。
把所有竞争对手远远甩在身后。
这一年,被称为深度学习革命的元年。
从那一天开始,几乎所有的AI研究者,都转向了深度学习。资金涌入,人才聚集,应用爆炸。
五年后,神经网络的错误率降到了3%,超过了人类平均水平(约5%)。
十年后,语言模型能写代码、讨论哲学、生成图像、辅助医疗。
这一切,从2012年那个比赛开始。
但2012年并不是神经网络的起点。那一天,是七十年积累的一次爆发。
七十年里,前七章的所有工具,被逐一发现,逐一完善,然后在那个时刻,汇聚在一起。
这是第八章要讲的故事。
一、从一个神经元开始
1943年,神经科学家沃伦·麦卡洛克和数学家沃尔特·皮茨,发表了一篇论文。
他们做了一件简单但深刻的事:
把生物神经元,抽象成数学模型。
一个生物神经元,接收来自其他神经元的信号,把信号加权求和,如果总和超过一个阈值,就激活,向下一个神经元发出信号。
用数学语言写:
你认出了什么吗?
一个人工神经元,是线性代数加上非线性变换。
二、你已经知道的那些
你在高中学过函数的复合——把一个函数的输出,作为另一个函数的输入。
神经网络,就是函数复合的大规模应用:
输入经过第一层变换,输出作为第二层的输入,第二层的输出作为第三层的输入……一层一层,每层都是一个函数,整个网络是一个巨大的复合函数。
你学过矩阵乘法——第七章说过,每一层的计算本质上是矩阵乘法加上激活函数。
你学过导数和链式法则——第四章说过,反向传播是链式法则的大规模应用。
你学过概率——网络的输出层通常是一个概率分布,哪个类别的概率最高,就预测哪个类别。
你学过信息论——交叉熵损失函数,来自第六章。
你学过向量和Embedding——输入的表示,来自第七章。
你学过图——图神经网络处理图结构数据,来自第五章。
第八章是前七章的交叉口。
三、知识点全景
初中/高中阶段:
- 函数的概念——(初中)——神经网络是一个从输入到输出的巨大函数。
- 函数的复合——(高中)——神经网络的每一层是一个函数,多层网络是函数的复合。
- 不等式与阈值——(高中)——激活函数的阈值思想:超过某个值才激活。
- 向量与矩阵——(高中/大学,见第二、七章)——每一层的计算是矩阵乘法。
- 导数与链式法则——(高中/大学,见第四章)——反向传播的数学基础。
- 概率与分布——(高中/大学,见第三章)——输出层的概率解释。
大学阶段:
- 感知机——(大学)——最简单的人工神经元。单层感知机只能解决线性可分问题——能用一条直线分开的分类问题。1969年,明斯基和帕珀特证明了单层感知机无法解决XOR问题,AI进入第一次寒冬。
- 多层感知机(MLP)——(大学)——多个感知机层叠,中间加入隐藏层。隐藏层让网络能表达非线性关系,解决单层感知机无法解决的问题。
- 激活函数——(大学)——在线性变换后加入非线性。没有激活函数,多层网络等价于单层网络(多个矩阵乘法的复合,还是一个矩阵乘法)。
- Sigmoid:把任意数压缩到(0,1),早期常用
- Tanh:把任意数压缩到(-1,1)
- ReLU:负数变零,正数不变。
。今天最常用,计算简单,梯度问题少
- 反向传播——(大学/研究生)——链式法则从输出层向输入层反向传播梯度。1986年重新发现并推广,解决了多层网络的训练问题,神经网络第二次复兴。
- 卷积运算——(大学/研究生)——用一个小矩阵(卷积核)在大矩阵(图像)上滑动,提取局部特征。相当于用一个"特征探测器"扫描整张图片,检测边缘、纹理、形状等局部模式。
- 卷积神经网络(CNN)——(大学/研究生)——用卷积层提取图像特征,用池化层降维,用全连接层分类。2012年的AlexNet就是CNN。图像识别、医学影像、自动驾驶视觉感知的基础。
- 循环神经网络(RNN)——(大学/研究生)——有"记忆"的网络,处理序列数据。每一步的输出,作为下一步的输入之一。处理语言、时间序列、音频的早期方法。但存在梯度消失问题——信息传播太多步之后,梯度变得极小,早期信息被遗忘。
- 长短期记忆网络(LSTM)——(大学/研究生)——RNN的改进版,用"门控"机制控制信息的记忆和遗忘。让网络能够记住长距离的依赖关系。2000年代语言处理的主流工具。
- 注意力机制——(研究生)——不是按固定顺序处理序列,而是动态地决定每一步关注哪些位置。让网络能够直接建立任意距离位置之间的关联。
- Transformer架构——(研究生/工业)——完全基于注意力机制,去掉了循环结构。2017年提出,成为现代所有大型语言模型的骨架。
- 预训练与微调——(研究生/工业)——先在大量数据上训练一个通用模型(预训练),再在特定任务的小数据集上调整(微调)。BERT、GPT的训练范式。
- 规模定律(Scaling Laws)——(工业/研究生)——更多参数 + 更多数据 + 更多计算 = 可预测的性能提升。这个规律的发现,推动了大模型军备竞赛。
四、七十年的汇聚时间线
现在我们沿着时间线走一遍,看七个工具如何逐步汇聚。
1943年:第一个数学神经元
麦卡洛克和皮茨的论文。人工神经元的数学模型出现。工具:逻辑(第一章)+ 线性代数(第二章)。
1958年:感知机
弗兰克·罗森布拉特造出了第一个可学习的神经网络——感知机。它能从数据里自动调整权重。工具:线性代数 + 优化(第四章)。
1969年:第一次寒冬
明斯基和帕珀特的《感知机》一书,指出单层感知机的局限。AI资金撤退。但多层网络的想法,一直在少数研究者那里存活。
1986年:反向传播复兴
鲁梅尔哈特、辛顿、威廉姆斯的论文,展示了用反向传播训练多层神经网络的方法。工具:链式法则(第四章)。这是深度学习的真正起点。
1989年:通用近似定理
数学证明:只要有足够多的神经元,一个两层神经网络可以近似任意连续函数。这给了神经网络一个理论基础——它们在理论上能表达任何模式。
1998年:卷积神经网络
杨立昆用CNN识别手写数字,用于银行支票识别。工具:卷积运算 + 反向传播。但计算能力限制了规模,第二次寒冬开始。
2006年:深度学习的名字
辛顿提出"深度学习"的概念,展示了多层网络可以用逐层预训练的方法解决训练困难。人们重新开始关注深度网络。
2012年:AlexNet的爆发
三个条件汇聚:
- 数据:ImageNet,1400万张标注图片
- 算力:GPU并行计算,让大规模矩阵运算速度提升百倍
- 算法:更深的网络,ReLU激活函数,Dropout正则化
工具:卷积(图像处理)+ 矩阵乘法 + 梯度下降 + ReLU激活 + 大数据。深度学习革命爆发。
2017年:Transformer
谷歌的"Attention Is All You Need"论文。提出完全基于注意力机制的Transformer架构,彻底取代了RNN和LSTM处理语言的地位。工具:注意力机制(向量点积)+ 位置编码 + 多头注意力 + 前馈网络。这是GPT、BERT、所有现代语言模型的骨架。
2020年:GPT-3的涌现
1750亿参数,海量训练数据,规模定律推动的大模型时代开始。工具:全部七章的所有工具,大规模集成。
五、注意力机制:用向量点积理解上下文
注意力机制,是Transformer的心脏,也是现代AI最重要的数学创新之一。
它解决了一个第七章留下的问题:同一个词,在不同上下文里意思不同,静态Embedding无法处理。
注意力机制的核心思想:
处理每个词的时候,动态地决定应该关注序列里的哪些其他词,以及关注多少。
数学实现:
每个词,被变换成三个向量:查询(Query)、键(Key)、值(Value)。
让我们把这个公式拆开,每个部分都很熟悉:
还记得向量点积衡量相似性吗(第七章)?这里就是在计算:当前词的查询向量,和序列里每个词的键向量,有多相似。相似度高,就意味着这两个词的关系更密切,应该互相关注更多。
防止点积数值太大,导致softmax饱和(梯度消失)。
把所有相似度值,变成加起来等于1的概率分布。这就是"注意力权重"——对每个位置应该关注多少的概率分配。Softmax建立在概率和指数函数上(第三章)。
乘以
用注意力权重,对所有位置的值向量做加权平均。关注多的位置,贡献更多;关注少的位置,贡献更少。结果是一个融合了上下文信息的新向量。
整个过程在做什么?
对于"苹果公司发布了新手机"里的"苹果",注意力机制会发现它和"公司"、"发布"、"手机"的相关性更高,和"吃"、"好吃"的相关性更低。然后把这个上下文信息,融合进"苹果"的向量表示里。
结果:"苹果"在这个句子里的向量,被上下文动态调整成了"科技公司"的含义,而不是"水果"的含义。
这就是"理解上下文"的数学实现。
六、前七章工具的汇聚图
让我们明确画出这张汇聚图:
第一章 逻辑 ↓→ 计算机的逻辑门和条件判断→ 符号AI,知识图谱(与神经网络并行)→ 可解释AI的探索方向
第二章 矩阵 ↓→ 神经网络每一层的核心计算(矩阵乘法)→ 注意力机制里的
第三章 概率 ↓→ 输出层的Softmax,变成概率分布→ Dropout正则化(随机丢弃神经元)→ 贝叶斯深度学习,不确定性估计
第四章 优化 ↓→ 反向传播 + 梯度下降,训练所有参数→ Adam、RMSprop等优化器→ 学习率调度
第五章 图论 ↓→ 图神经网络(处理分子、社交网络等图结构数据)→ 知识图谱 + 语言模型的结合→ Transformer可以看作在全连接图上做注意力
第六章 信息论 ↓→ 交叉熵损失函数(训练分类模型的标准损失)→ 困惑度(评估语言模型的指标)→ 互信息(特征选择,信息瓶颈理论)
第七章 线性代数的深处 ↓→ Embedding层(输入的向量表示)→ 注意力机制(向量点积衡量相似性)→ SVD思想在推荐系统和表示学习里
第八章 ↑
这七条线,在这里交汇,产生了现代AI。
七、规模定律:为什么大就是不同
2020年,OpenAI的研究者发现了一个规律:
神经网络的性能,随着参数量、数据量、计算量的增加,以可预测的幂律关系提升。
N是参数量,
这意味着:把参数量增加10倍,损失下降约16%。把参数量增加1000倍,损失下降约40%。
这个规律的惊人之处:
性能的提升不只是量变,还会产生质变。
当模型规模跨越某个阈值,会突然出现之前完全没有的能力。这叫涌现能力——就像水温升到100度时突然沸腾,不是线性的变化,而是相变。
GPT-3出现了GPT-2没有的推理能力。GPT-4出现了GPT-3没有的复杂任务处理能力。
这些能力,没有被明确训练过。它们从规模里涌现出来。
没有人完全理解为什么会这样。这是深度学习里最神秘也最重要的现象之一。
八、神经网络今天在哪里
图像识别与计算机视觉: 手机解锁人脸识别,医院的X光CT自动分析,自动驾驶的环境感知,工厂的质量检测——所有这些,背后是CNN或Vision Transformer。错误率已经在多个任务上低于人类。
自然语言处理: GPT系列、Claude、Gemini——语言模型改变了人类和信息交互的方式。翻译、摘要、代码生成、问答——这些任务,今天的语言模型表现已经接近或超过人类水平。
蛋白质结构预测: AlphaFold2用深度学习,预测了几乎所有已知蛋白质的三维结构。这个问题困扰生物学家五十年,AlphaFold在两年内解决。影响医药、农业、材料科学。
游戏与决策: AlphaGo和AlphaZero,在围棋、国际象棋、星际争霸上超过了人类最顶尖的选手。它们用的是强化学习——一种把优化(第四章)和神经网络结合的框架,让AI通过和自己对弈,自动学习最优策略。
生成模型: DALL-E、Stable Diffusion生成图像,Sora生成视频,MusicLM生成音乐——生成式AI,让机器从描述中创造内容。背后是扩散模型、GAN等生成神经网络架构。
科学发现: 气候模型、粒子物理数据分析、天文图像处理、新材料设计——深度学习正在加速每一个科学领域的研究速度。
九、但是——一个问题被留下
2012年AlexNet赢得比赛,研究者去看这个网络在"看"什么。
他们发现,网络学会了识别边缘、纹理、形状。这些是有意义的特征,和人类的视觉感知有一定对应。
但随着网络变得更深、更大,这种可解释性就消失了。
一个有1750亿参数的语言模型,它为什么给出这个答案,而不是那个答案?
没有人能完整回答这个问题。
不是因为没有人在研究,而是因为这套数学架构,在设计之初,就没有为"为什么"留下接口。
第四章里种下的那粒种子,在这里开始显现:
梯度下降,沿着损失函数的最小值方向,把1750亿个参数推到了某个位置。这个位置,在输入空间里,产生了令人惊叹的输出。
但那1750亿个参数各自代表什么,它们如何协作产生那个输出,沿着什么逻辑做出那个判断——这些问题,在这套数学架构里,没有可以被人类读懂的答案。
这是深度学习最强大的地方,也是它最深的盲点,写在地基里。
小结:你学过的,在这里
| 你学过的 | 学习阶段 | 它在神经网络里是什么 |
|---|---|---|
| 函数的概念 | 初中 | 神经网络是一个从输入到输出的复合函数 |
| 函数的复合 | 高中 | 多层网络是函数的多层复合 |
| 向量与矩阵(第二章) | 高中/大学 | 每一层的核心计算是矩阵乘法 |
| 链式法则(第四章) | 高中/大学 | 反向传播的数学基础 |
| 梯度下降(第四章) | 大学 | 训练所有参数的核心算法 |
| 概率与Softmax(第三章) | 高中/大学 | 输出层的概率分布 |
| 交叉熵(第六章) | 大学/研究生 | 训练分类模型的标准损失函数 |
| 向量点积(第七章) | 高中/大学 | 注意力机制的相似度计算 |
| Embedding(第七章) | 研究生/工业 | 输入层的词向量表示 |
| 感知机 | 大学 | 最简单的神经网络单元 |
| 卷积运算 | 大学/研究生 | 图像识别的核心操作 |
| 注意力机制 | 研究生 | Transformer的心脏,理解上下文的方法 |
| 规模定律 | 工业/研究生 | 更大的模型,涌现更强的能力 |
七十年,七个工具,一次汇聚。
从1943年的第一个数学神经元,到2023年的GPT-4,这条路上的每一步,都是某个真实问题逼出的解决方案,都使用了你学过的某个数学工具。
但在这七十年里,有一个选择,悄悄地被做出了。
那个选择,决定了神经网络为什么如此强大,也决定了为什么它无法解释自己。
在AI历史的另一条路上,有人坚持了不同的方向。
那条路,从第一章的逻辑出发,没有放弃可解释性。
它没有赢得2012年的比赛。但它从来没有消失。
而今天,这两条路正在重新相遇。
这是第九章的故事。
也是这本书的最后一章。
__
第九章 两条路——那个岔路口
我们选择了什么,放弃了什么
1956年夏天,美国新罕布什尔州达特茅斯学院。
十个人聚在一起,开了一个为期两个月的研讨会。
他们给自己正在研究的领域,起了一个名字:
人工智能。
他们相信,人类智能的每一个方面,都可以被精确描述,都可以被机器模拟。
这个信念,建立在第一章的逻辑上——如果思维是符号操作,如果推理是形式规则,那么机器就能思考。
这是AI历史的起点。
也是那个岔路口的起点。
从那个夏天开始,两条路开始分叉。
一条路,坚持了逻辑和符号,坚持了可解释性,坚持了"每一步推理都可以被人类读懂"。
另一条路,选择了从数据里学习,选择了统计和连接,选择了"能力比可解释性更重要"。
七十年后,第二条路赢了。
但"赢了"不等于"对了"。
这是本章要说清楚的事情。
一、两条路是什么
在我们深入之前,先把两条路说清楚。
第一条路:符号主义
核心信念:智能的本质是符号操作,是逻辑推理,是可以被明确表达的规则系统。
数学工具:第一章的逻辑,第五章的图论,第三章的概率推理。
代表系统:专家系统,知识图谱,定理证明器,规划系统。
最重要的特征:可解释性。 每一步推理都有明确的前提,都产生可追溯的结论,都可以被人类读懂和核实。你可以问"为什么得出这个结论",系统能给你一条完整的推理链。
第二条路:连接主义
核心信念:智能从大量简单单元的连接中涌现,不需要显式的规则,只需要足够多的参数和数据,以及一个驱动系统向特定方向学习的目标函数。
数学工具:第二章至第八章的全部工具。
代表系统:神经网络,深度学习,大语言模型。
最重要的特征:能力的涌现。 规模足够大,能力自动出现,无需人工设计规则。但你无法问"为什么"——系统没有可以被人类读懂的推理链。
二、两条路的知识谱系
在我们进入历史之前,先把这本书所有的知识点,在两条路上各归其位。
你学过的那些数学,属于哪条路?
符号主义用的数学:
| 你学过的 | 学习阶段 | 在符号AI里是什么 |
|---|---|---|
| 命题逻辑:与、或、非 | 初中 | 专家系统规则的基本语言 |
| 条件命题:p→q | 高中 | 推理规则的标准形式 |
| 谓词逻辑:∀、∃ | 大学 | 知识表示的形式语言 |
| 图的定义与操作 | 大学 | 知识图谱的数学基础 |
| 最短路径 | 大学 | 规划问题的求解工具 |
| 贝叶斯定理 | 大学 | 不确定性下的概率推理 |
| 树与生成树 | 大学 | 搜索树,决策树,推理路径 |
连接主义用的数学:
| 你学过的 | 学习阶段 | 在连接主义AI里是什么 |
|---|---|---|
| 向量与矩阵 | 高中/大学 | 神经网络每层的计算 |
| 导数与链式法则 | 高中/大学 | 反向传播 |
| 梯度下降 | 大学 | 参数训练 |
| 概率分布 | 大学 | 输出层的概率 |
| 对数与熵 | 高中/大学 | 交叉熵损失函数 |
| SVD与Embedding | 大学/研究生 | 输入表示层 |
| 向量点积 | 高中 | 注意力机制 |
你现在拥有了一张完整的地图——你学过的每一个知识点,在AI历史的哪条路上,做了什么。
三、两条路的竞争史
现在沿着时间线,看这两条路如何竞争。
1956—1974年:符号主义的黄金时代
达特茅斯会议之后,符号主义主导了AI研究。
专家系统开始出现。逻辑定理证明器证明了数学定理。自然语言处理程序开始理解简单的英语句子。
乐观情绪弥漫。有研究者预测,二十年内,机器将能完成任何人类能做的智力工作。
但那堵墙开始出现——真实世界的知识写不完,规则处理不了例外,逻辑无法处理不确定性。
1974—1980年:第一次寒冬
资金撤退。研究热情降温。
但符号主义的研究者没有放弃。他们在寒冬里,把知识工程做得更精细,把知识图谱做得更完善。
与此同时,连接主义的研究者在默默耕耘。他们知道单层感知机的局限,他们在探索多层网络的可能性。
1980—1987年:专家系统的商业繁荣
企业开始商业化部署专家系统。医疗诊断、金融分析、工业控制——符号AI迎来了商业高峰。
这也是连接主义开始复兴的时刻。1986年,反向传播算法重新被发现和推广。多层神经网络的训练,第一次变得可行。
1987—1993年:第二次寒冬
专家系统的局限暴露。维护成本高,扩展性差,无法适应知识的快速更新。
连接主义在某些任务上显示出潜力,但计算能力限制了规模,无法在大多数实际问题上超过符号方法。
两条路都面临挑战。两条路的研究者都在坚持。
1993—2012年:平静的积累
互联网产生了前所未有的数据规模。
GPU的发展,让大规模矩阵运算速度提升了百倍。
连接主义悄悄地,在数据规模和计算能力的推动下,开始在一个又一个任务上超过符号方法。
语音识别,连接主义赢了。图像识别,连接主义的优势越来越明显。
2012年:那个转折点
AlexNet。错误率从26%降到15.3%。
这一刻之后,几乎所有的AI资金、人才、注意力,开始涌向连接主义。
符号主义退居边缘。不是被证明错了,而是在能力竞争中,短期内输了。
四、那个被做出的选择
在竞争的过程中,有一个选择,被悄悄地、没有人明确宣布地做出了:
选择了能力,放弃了可解释性。
这个选择,不是某个人在某一天的决定。它是无数个小决定的累积——每次资金流向更高性能的方向,每次研究者选择发表错误率更低的论文,每次企业部署效果更好但更难解释的系统。
这些选择,各自都是合理的。追求更好的性能,本来就是科学和工程的目标。
但累积起来,这些选择把可解释性,从AI系统的核心特征,变成了一个次要的、事后追加的、很多时候根本没有实现的要求。
今天部署在全球的AI基础设施——搜索引擎、推荐系统、语言模型、自动驾驶——几乎全部建立在连接主义的数学地基上。
这个地基,在设计时,就没有为"为什么"留下接口。
五、两条路各自的真实局限
这里需要说一件公平的事:
两条路,都有真实的局限。
符号主义的局限:
知识需要人工编码,无法自动从数据里学习。这意味着规模有上限——人类的知识工程速度,跟不上真实世界的复杂性。
处理感知问题——理解图像、语音、自然语言——符号方法效果不好。因为感知本质上是从连续的、噪声的信号里提取结构,这不是逻辑规则擅长的。
在大数据时代,符号方法的优势迅速被数据驱动的方法所超越。
连接主义的局限:
不可解释。第八章说过,这是写在地基里的特征,不是可以被补丁修复的缺陷。
需要大量标注数据。没有数据,连接主义无法工作。而在很多重要领域——医疗、法律、科学——高质量标注数据稀缺且昂贵。
对分布外数据的泛化能力弱。在训练数据的分布之外,系统的行为可能变得不可预测。
推理能力有限制。对于需要多步逻辑推理的问题,连接主义系统的表现不如人类,而符号系统在这类问题上天然更强。
六、两条路正在重新相遇
2024年,一件有趣的事情正在发生。
在AI研究的前沿,越来越多的工作,在尝试融合两条路。
这个方向,叫神经符号融合。
核心思想:用连接主义处理感知——理解图像、语言、信号,把混乱的现实映射成结构化的表示;用符号方法处理推理——在结构化的表示上,做可解释的、可追溯的逻辑推理。
感知是连接主义的强项。推理是符号主义的强项。融合,是两条路各取所长。
这不是新想法。研究者在1980年代就提出了类似的设想。
但今天,有了更强大的连接主义系统作为感知基础,融合变得更有可能,也更有意义。
这是另一条路开始重新被走的时刻。
不是要推翻连接主义的成就。而是要在连接主义能力的基础上,重新找回符号主义的可解释性。
你学过的第一章的逻辑,和你学过的第二至八章的所有工具,都会在这个融合里找到各自的位置。
七、你的认知地图,完整了
走到这里,九章走完了。
让我们把整张地图,最后看一遍。
你在小学学的:
- 数字和基本运算——所有数学的起点
- 可能性的直觉——概率的起点
- 点和线——图论的起点
你在初中学的:
- 命题和逻辑连接词——专家系统的语言
- 坐标系——把任何东西变成数学的基础
- 方程和方程组——矩阵的起点
- 频率和古典概型——概率论的起点
- 集合与关系——图论的形式化基础
你在高中学的:
- 条件命题p→q——所有编程语言的if-else
- 向量:大小和方向——神经网络输入的基本形式
- 向量点积——注意力机制的核心计算
- 导数:变化的速率——梯度下降的基础
- 链式法则——反向传播的数学心脏
- 概率:条件概率和贝叶斯定理——垃圾邮件过滤到语言模型
- 对数及其性质——熵和信息量的计算基础
你在大学学的:
- 矩阵乘法——神经网络每层的核心运算
- 特征值与特征向量——PageRank,搜索帝国的地基
- 梯度下降——所有AI训练的引擎
- 图的定义和算法——知识图谱,社交网络,GPS导航
- 香农熵——压缩的理论极限
- 交叉熵——深度学习最常用的损失函数
- SVD奇异值分解——降维,推荐系统,Embedding的基础
- 感知机和神经网络——连接主义的数学实现
- 注意力机制——Transformer的心脏
这些,你都学过。
你当时不知道它们在这里。
现在你知道了。
八、一张地图,两种用法
这张地图,有两种用法。
第一种用法:往回看。
你曾经学过这些东西。也许觉得有些枯燥,有些难懂,有些和现实脱节。
现在你可以往回看,重新理解它们。
不是为了重新做题,而是为了看见它们的位置——在人类文明的地基里,在每天使用的产品背后,在这个被算法深度渗透的世界里。
你学过的不是考试内容。你学过的是现代文明的建造工具。
第二种用法:往前看。
这张地图,也是一张导航图。
未来的AI发展,会继续沿着这些数学工具的方向延伸。新的工具会出现,但它们会建立在这些地基上。
当你遇见一个新的AI产品,一个新的算法,一个新的技术声称,你现在有能力问出正确的问题:
它用的是什么数学工具?那个工具在优化什么?它的目标函数是谁定的?它的可解释性在哪里?它在第一条路上,还是第二条路上,还是在尝试融合两条路?
这些问题,是真正的AI素养。
不是会用某个工具,不是背出某些概念,而是能看见系统背后的数学结构——它在做什么,它能做什么,它无法做什么,以及它的选择意味着什么。
九、最后一件事
这本书快结束了。
但在结束之前,有一件事需要被说出来。
我们走完了九章,从逻辑走到矩阵,从概率走到优化,从图论走到信息论,从线性代数的深处走到神经网络,最后站在那个岔路口。
你现在拥有了一张地图。
但地图不是领土。
这本书描述的数学工具,是人类创造的。用它们建造的系统,是人类选择建造的。那个岔路口的选择——选择能力,放弃可解释性——是人类做的。
数学是中立的。
选择,不是。
在那个岔路口,有人做了一个选择,选择了更强大但不可审计的地基。这个选择,带来了今天AI的全部辉煌,也带来了今天AI的全部隐忧。
拥有了这张地图,你现在可以看见:这不是必然,这是选择。 历史可以不是这样的,未来也不必然是这样的。
但要做出不同的选择,首先要看见已经做出的选择。
这张地图,就是为了让你看见。
小结:两条路的完整对比
| 符号主义 | 连接主义 | |
|---|---|---|
| 核心信念 | 智能是符号操作 | 智能从连接中涌现 |
| 学习方式 | 人工编码规则 | 从数据中自动学习 |
| 可解释性 | 每步可追溯 | 黑箱,无法解释 |
| 优势领域 | 推理、规划、逻辑 | 感知、语言、图像 |
| 主要数学 | 逻辑、图论、概率推理 | 矩阵、优化、信息论、线性代数 |
| 代表系统 | 专家系统、知识图谱 | 神经网络、大语言模型 |
| 今天的地位 | 退居边缘,但未消失 | 主导地位 |
| 未来方向 | 在神经符号融合中复兴 | 与符号方法融合 |
尾声 你现在有的东西
这本书从一句话开始:
这些东西,学来有什么用?
现在你有了答案。
不是一个模糊的答案,而是一张具体的地图。
你在小学学的数字和坐标,是把世界变成数学的第一步。
你在初中学的逻辑和方程,变成了计算机里所有的0和1,变成了数据库里所有的查询,变成了专家系统里所有的推理。
你在高中学的向量和导数,变成了神经网络的输入和训练引擎,变成了Google搜索的排序逻辑,变成了语言模型每次生成文字时运行的数学。
你在大学学的矩阵、概率、图论、信息论、线性代数,变成了搜索帝国的地基,变成了社交网络的骨架,变成了数字压缩的极限,变成了AI理解意义的坐标系。
不是数学没用。是没有人画过这张地图。
现在你有了这张地图。
但这张地图,还有另一面。
你现在看见了这些数学工具是什么,它们在做什么,它们变成了什么。
还有一个问题,这张地图的另一面在问:
这些数学工具,被谁用,为了什么,优化了什么,放弃了什么?
那个问题,是另一本书的故事。
如果你读了那本书,你会带着这张地图去读它。你会看得更清楚——因为你知道那些系统的数学地基是什么,你知道那个岔路口在哪里,你知道可解释性不是从来就不存在的,而是在某个时刻,被选择放弃的。
两本书合在一起,才是完整的认知:
第一本书告诉你,数学能做什么。
第二本书告诉你,数学在为谁做,以及我们还有没有选择。
最后一句话:
你学过造计算机。你学过造搜索帝国。你学过造推荐系统。你学过造语言模型。你学过造现代文明的地基。
这些你都会。
你只是不知道你能。
现在你知道了。
全书完。