ocgOpen Cognitive Graph · CDC v2.1

方法与书籍/书籍/math-literacy

数学:人工智能素养的素养

逻辑、矩阵、概率、优化、图论:你在课本里学过的数学,如何成为今天 AI 的底层。

语言 · 中文Mathematics: The Literacy Beneath AI Literacy

第一章 逻辑——机器能思考吗

1950年,一个问题改变了世界


1950年,一个英国数学家在一本学术期刊上发表了一篇论文。

论文的开头只有一句话:

"我提议考虑这个问题:机器能思考吗?"

这个人叫艾伦·图灵。

他没有直接回答这个问题。他说,这个问题本身太模糊,"思考"这个词太难定义。所以他提出了一个替代问题:如果一台机器和一个人对话,你无法分辨哪个是机器,哪个是人——那么,这台机器算不算在思考?

这个问题后来被称为图灵测试。

但图灵真正的贡献,不只是这个问题。在这篇论文之前,他已经做了更根本的事情:他证明了,任何可以被精确定义的计算过程,都可以被一台机器执行。

任何可以被精确定义的计算过程。

这句话里藏着一个要求:精确定义。

而精确定义,需要一种语言。

这种语言,就是逻辑。


一、你已经知道的那些

在我们说机器之前,先说你已经学过的东西。

你在初中学过命题。老师告诉你,命题是一个可以判断真假的陈述。"北京是中国的首都"是命题,"今天天气好吗"不是命题,因为它是疑问句,无法直接判断真假。

你学过与、或、非。"今天下雨且刮风",两个都成立才成立。"今天下雨或刮风",至少一个成立就成立。"今天不下雨",把真假翻转。

你学过条件命题。"如果明天下雨,那么我就带伞"。这是一个推理的模板——已知条件,得出结论。

你学过逆命题、否命题、逆否命题。你大概记得,原命题和逆否命题是等价的,但和逆命题不一定等价。

你也许学过集合。并集、交集、子集、补集——用图形表示关系的那些圆圈,维恩图。

你当时可能觉得这些东西很基础,甚至有点无聊。

但这些东西,是整个计算机科学的地基。


二、把推理变成符号

让我们停在"如果p则q"这个结构上多看一秒。

p → q

这个箭头,是一个推理规则。它说:如果p成立,那么q也成立。

现在有一个新信息:p确实成立了。

结论是什么?

q成立。

这个推理步骤,在逻辑上叫假言推理。它的完整形式写出来是这样:

前提一:p → q 前提二:p 结论:q

看起来很简单,对吗?

但请注意一件事:这个推理过程,不需要你理解p和q是什么意思。

p可以是"今天下雨",q可以是"地面湿了"。p也可以是"体温超过38.5度",q可以是"建议就医"。p还可以是"用户点击了购买按钮",q可以是"生成订单"。

推理的结构是一样的。只要前提成立,结论就成立。不需要理解,只需要执行。

这是一个机器可以做的事情。

这个发现,是人工智能历史的起点。


三、知识点全景

在我们继续之前,先把这一章涉及的知识点完整列出来。你可能在不同的年级学过它们,现在把它们放在一起,看看它们共同构成了什么。

初中阶段:

  • 命题——一个可以判断真假的陈述。这是逻辑的基本单元,计算机处理的最小信息单位。
  • 逻辑连接词:与(∧)、或(∨)、非(¬)——把命题组合起来的运算。计算机的逻辑门——AND门、OR门、NOT门——就是这三个运算的硬件实现。
  • 集合的基本运算:并集、交集、补集——逻辑运算的集合语言,数据库查询的数学基础。

高中阶段:

  • 条件命题:p → q——推理的基本形式。所有编程语言里的if-else,都是这个结构。
  • 逆命题、否命题、逆否命题——原命题和逆否命题等价,这个性质在数学证明和程序验证里反复使用。
  • 假言推理——从已知推出未知的合法步骤。专家系统的推理引擎,就是大规模执行这个操作。
  • 归谬法(反证法)——假设结论不成立,推出矛盾,从而证明结论成立。这是数学证明和程序验证的核心方法之一。
  • 真值表——穷举所有可能的真假组合,验证命题的逻辑关系。芯片设计里的逻辑验证,用的就是真值表的思想。

大学阶段:

  • 全称量词(∀)与存在量词(∃)——"对所有x"和"存在某个x"的形式化。数据库查询语言SQL里的"SELECT ALL"和"EXISTS",直接来自这里。
  • 谓词逻辑——把逻辑从命题扩展到对象和关系。"所有人都会死,苏格拉底是人,所以苏格拉底会死"——这个推理的形式化,就是谓词逻辑。
  • 推理规则的完备性——一套推理规则,能不能推出所有真命题?这个问题,哥德尔在1931年给出了一个震惊数学界的答案。

四、从课本走进机器

现在我们往前走一步。

1956年,一群科学家聚在美国达特茅斯学院,开了一个夏天的研讨会。他们给自己正在研究的领域起了一个名字:人工智能。

他们的核心信念,建立在一个直觉上:

人类的智能,本质上是符号操作。我们思考,就是在操作符号——概念、关系、规则。如果我们能把这些符号和规则形式化,机器就能执行它们。机器就能思考。

这个信念,直接来自逻辑学。

他们开始做一件事:把人类专家的知识,翻译成逻辑规则,输入机器,让机器执行推理。

这类系统,叫专家系统。

最著名的一个,叫MYCIN,1970年代在斯坦福大学开发。它用来诊断细菌感染。

MYCIN里存了大约600条规则。每一条规则,都是这样的形式:

如果:患者体温超过38.5度 并且:白细胞计数高于正常值 并且:样本培养显示革兰氏阳性菌 那么:建议使用青霉素类抗生素(置信度0.85)

医生把病人的检查结果输入系统,系统用这600条规则反复推理,最终给出诊断建议。

在测试中,MYCIN的诊断准确率,超过了大多数人类医生。

这是人工智能历史上第一次,机器在一个专业领域的表现,超过了人类专家。

1980年代,专家系统进入了商业应用。数百家公司开始把各自领域的专家知识,编码成规则,部署成系统。这是人工智能的第一个商业黄金时代。


五、逻辑的边界

但专家系统碰到了一堵墙。

不是一堵突然出现的墙,是一堵从一开始就存在、只是花了时间才被看清楚的墙。

第一个问题:知识写不完。

MYCIN的600条规则,需要专家花数年时间整理和验证。医学领域的知识,何止600条。真实世界的一个复杂问题,可能需要数万条规则,而且规则之间会产生冲突,维护的成本会呈指数级增长。

第二个问题:规则处理不了例外。

逻辑规则是确定性的。但真实世界充满了例外。"鸟会飞"是一条合理的规则,但企鹅是鸟,企鹅不会飞。经典逻辑处理不好这类例外——你没办法简单地把"除了企鹅和鸵鸟和……"全部列出来,因为你不知道还有多少例外没被发现。

第三个问题:逻辑处理不了模糊性。

"这个人发烧了",发烧是多少度?37.5度算吗?37.2度算吗?真实世界的很多判断,不是非真即假的,而是程度问题。经典逻辑的二值结构,与这种模糊性之间,存在根本性的张力。

第四个问题:也是最根本的问题:

机器学不会。

专家系统的所有知识,都是人工编码进去的。机器只是在执行,没有在学习。如果出现了规则库里没有的情况,机器就无能为力。

而真实世界每天都在产生新的情况。

这堵墙,在1980年代末开始显现。专家系统的局限变得越来越清晰,投资开始撤退,人工智能进入了第二次寒冬。

但逻辑本身没有消失。


六、逻辑今天在哪里

逻辑没有被取代,它被放进了更大的系统里。

在计算机硬件里: 你的CPU里有数十亿个逻辑门,每个逻辑门执行一个与、或、非运算。你手机的每一次点击,背后是数十亿次逻辑运算在微秒内完成。这是逻辑学最直接的物质化。

在编程语言里: 每一种编程语言里的if-else结构,都是条件命题p→q的直接实现。每一个while循环,都是在反复检查一个逻辑条件。你用过的每一个App,它的逻辑骨架,都是用这些结构搭建的。

在数据库里: SQL是数据库的查询语言。"SELECT * FROM users WHERE age > 18 AND country = 'China'"——这是一个谓词逻辑的查询,用∀和∃的逻辑结构,从海量数据里筛选出满足条件的记录。全球每天发生的数十亿次数据库查询,都在执行这个逻辑。

在知识图谱里: Google的知识图谱,把世界上数十亿个实体和它们之间的关系,用逻辑的结构组织起来。当你搜索"爱因斯坦的妻子",返回的答案来自一个巨大的逻辑关系网络,里面存着"爱因斯坦——结婚——米列娃·马里奇"这样的关系三元组。

在现代AI的可解释性研究里: 深度学习系统不可解释的问题,正在促使研究者重新审视逻辑的价值。如何让神经网络的决策可以被追溯,如何把符号逻辑和连接主义结合——这是今天AI研究最活跃的方向之一。

逻辑是第一章,不是因为它是最重要的,而是因为它是起点。

它是人类第一次认真回答"机器能思考吗"时,拿出来的工具。

它的答案是:能——只要思考可以被精确定义,只要推理可以被形式化。

这个答案是对的,也是不完整的。

真实世界的很多东西,无法被精确定义。很多推理,无法被形式化。

这就是为什么故事继续往下走。


小结:你学过的,在这里

你学过的 学习阶段 它在现实世界里是什么
命题的真假 初中 计算机处理的最基本信息单位
与、或、非 初中 CPU里数十亿个逻辑门的三种类型
集合运算 初中 数据库查询的数学基础
条件命题p→q 高中 所有编程语言的if-else结构
逆否命题 高中 程序验证和数学证明的核心方法
假言推理 高中 专家系统的推理引擎
归谬法 高中 算法正确性证明的标准方法
全称量词∀和存在量词∃ 大学 SQL查询语言的逻辑基础
谓词逻辑 大学 知识图谱的表示语言

下一章,我们面对一个新问题。

逻辑能推理,但它处理不了关系的规模。整个互联网有数百亿个网页,它们之间有数万亿条链接。

没有办法把这些关系写成逻辑规则。

但有一个数学工具,天生就是用来处理大规模关系的。

你在高中学过它。你当时可能不太喜欢它。

它叫矩阵。


__

第二章 矩阵——关系的骨架

两个博士生,一个公式,一个万亿帝国


1998年,两个斯坦福大学的博士生,在学校的服务器上运行了一个新的搜索引擎。

服务器占用了斯坦福整个校园网带宽的一半。学校的网络管理员去找他们,要求他们关掉。

他们没有关掉。

一年后,他们离开斯坦福,在一个朋友的车库里,创立了一家公司。

公司的名字叫Google。

今天,Google是世界上市值最高的公司之一。它的核心产品——搜索引擎——每天处理超过85亿次查询。全球超过90%的互联网搜索,通过它完成。

这个帝国的地基,是一个数学公式。

这个公式用的数学工具,你在高中就学过。

它叫矩阵。


一、一个在1998年真实存在的问题

在Google出现之前,互联网是混乱的。

不是因为信息少,而是因为信息太多,而且没有可靠的方法判断哪些信息重要,哪些不重要。

当时的搜索引擎,用的是关键词匹配。你搜索"癌症治疗",它把所有包含这两个词的页面全部返回给你。谁排在前面?谁在标题里把关键词写得最多,谁就排在前面。

这个方法有一个致命的漏洞:它可以被操纵。

你只需要在页面里把"癌症治疗癌症治疗癌症治疗"重复一千遍,你就能排在搜索结果的第一位。

结果是,搜索引擎的结果充斥着垃圾页面,真正有价值的内容被淹没在噪音里。

两个博士生,拉里·佩奇和谢尔盖·布林,问了一个不同的问题:

什么样的页面是重要的?

他们的答案,来自学术界的一个古老直觉:一篇论文如果被很多其他论文引用,它可能是重要的。如果引用它的那些论文也是重要的,它就更重要。

重要性,可以通过引用关系传播。

把这个直觉,翻译成数学,就需要矩阵。


二、你已经知道的那些

在我们建立Google的数学之前,先回到你学过的东西。

你在初中学过数组——一排有序的数字。你在初中学过坐标系——用两个数字描述平面上一个点的位置。你在高中学过向量——有大小有方向的量,可以用一列数字表示。你在高中或大学学过矩阵——数字的矩形阵列,有行有列。

矩阵看起来就是一个数字表格。比如这样:

A=(210131012)A = \begin{pmatrix} 2 & 1 & 0 \\ 1 & 3 & 1 \\ 0 & 1 & 2 \end{pmatrix}

三行三列,九个数字。

你学过矩阵的加法,学过矩阵和数字相乘,也许还学过矩阵和矩阵相乘——那个规则有点繁琐,行乘列,相加。

你可能当时没有完全理解,为什么矩阵乘法要那样定义,而不是简单地对应位置相乘。

现在我们来回答这个问题。

矩阵乘法之所以那样定义,是因为它在描述一件非常具体的事情:

关系的传递。


三、矩阵是关系的语言

想象一个简单的场景。

有三个人:A、B、C。

A认识B,A认识C,B认识C,但B不认识A,C不认识A,C不认识B。

这些关系,可以被写成一个矩阵:

(011001000)\begin{pmatrix} 0 & 1 & 1 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \end{pmatrix}

第一行是A:A不认识A(0),A认识B(1),A认识C(1)。第二行是B:B不认识A(0),B不认识B(0),B认识C(1)。第三行是C:C谁都不认识(0,0,0)。

这个矩阵,把所有的关系,压缩进了一个数字表格。

现在问一个问题:A能通过中间人联系到谁?

如果A认识B,B认识C,那么A可以通过B联系到C。

这个"通过中间人"的计算,就是矩阵乘法。把这个矩阵和自己相乘,结果里非零的位置,就是"两步之内可以到达"的关系。

矩阵乘法,就是关系的传递。

这就是为什么矩阵乘法要那样定义——行乘列,相加——因为它在计算的,是"我的关系的关系"。


四、知识点全景

现在把这一章的知识点完整列出来。

小学/初中阶段:

  • 数组与列表——(小学/初中)——有序数字的集合,矩阵的一维版本。你用Excel表格整理数据,就是在用矩阵思维。
  • 坐标系与坐标——(初中)——用两个数字描述平面位置。矩阵是坐标系思想的推广——用行号和列号定位任意一个数字。
  • 方程组——(初中)——多个未知数,多个方程。矩阵是解方程组的系统性工具。

高中阶段:

  • 向量:大小和方向——(高中)——n维空间里的一个有方向的量。向量是矩阵的一列或一行。"北偏东30度,速度50公里/小时",就是一个二维向量。
  • 向量加法与数乘——(高中)——向量的基本运算。力的合成、速度的叠加,都是向量加法。
  • 矩阵的定义:行与列——(高中/大学)——数字的矩形阵列。任何"谁对谁有什么程度影响"的关系,都可以写成矩阵。

大学阶段:

  • 矩阵乘法——(大学)——关系的传递和组合。A影响B,B影响C,A通过B影响C多少——这个计算就是矩阵乘法。
  • 转置矩阵——(大学)——行列互换。把"A影响B"变成"B被A影响",关系方向的翻转。
  • 行列式——(大学)——矩阵的一个数值属性。几何意义是:这个矩阵代表的变换,把空间"拉伸"或"压缩"了多少倍。行列式为零,意味着这个变换把空间压扁了,信息丢失了。
  • 逆矩阵——(大学)——变换的撤销。如果A乘以A的逆等于单位矩阵,就像乘以1一样,什么都没变。解方程组,本质上就是在求逆矩阵。
  • 特征值与特征向量——(大学)——这是本章最重要的概念,Google的核心就在这里。一个矩阵作用于某些特殊向量时,只是把这些向量拉伸或压缩了,没有改变它们的方向。这些特殊的向量叫特征向量,拉伸的倍数叫特征值。
  • 线性变换——(大学)——矩阵作用于向量,改变空间的形状。旋转、拉伸、翻转,都是线性变换。3D游戏里的每一帧画面,都是无数次线性变换的结果。

五、PageRank:特征向量如何构建了搜索帝国

现在回到1998年的问题:怎么判断一个网页是否重要?

佩奇和布林把互联网想象成一个巨大的矩阵。

每一个网页是矩阵的一行,也是矩阵的一列。如果网页A链接到网页B,矩阵里A行B列的位置就有一个数值。这个数值代表:A把多少"重要性"传递给了B。

整个互联网,就是这样一个巨大的矩阵——数十亿行,数十亿列,绝大多数位置是零(大多数网页之间没有链接),少数位置有数值(存在链接关系)。

现在的问题是:这个矩阵最重要的特征向量是什么?

特征向量,是矩阵作用后方向不变的向量。

在这个语境里,特征向量的含义是:一个关于所有网页重要性的排名,在经过整个互联网的链接关系"过滤"之后,排名没有改变。

换句话说,这个排名,和互联网的真实结构是"对齐"的——重要的网页被更多重要的网页指向,而这个"重要"的定义,和你从这个排名出发得到的结论,是自洽的。

公式:

PR(A)=∑T∈BAPR(T)C(T)PR(A) = \sum_{T \in B_A} \frac{PR(T)}{C(T)}

这个公式说:网页A的重要性,等于所有指向A的网页的重要性之和,每个贡献除以那个网页的出链数量。

这是一个循环定义——A的重要性取决于指向A的网页的重要性,而那些网页的重要性又取决于指向它们的网页……

循环定义听起来像是问题。但矩阵的特征值方法,让这个循环可以被计算。反复迭代——用当前的排名计算新的排名,再用新的排名计算更新的排名——直到排名收敛,不再变化。

这个收敛的排名,就是这个巨型矩阵最重要的特征向量。

这就是PageRank。

这就是Google的核心算法。

两个博士生用线性代数,给整个互联网排了序。


六、矩阵今天在哪里

PageRank是矩阵最著名的应用,但远不是唯一的。

桥梁与建筑: 这是矩阵最古老的工程应用之一。一座桥有数百个节点,每个节点受到来自多个方向的力。这些力的关系,写成矩阵。用矩阵运算,计算每个节点的受力情况,判断结构是否安全。没有矩阵计算,现代建筑工程无法进行。桥梁没有代数,会死人——字面意义上。

推荐系统: Netflix知道你可能喜欢哪部电影,不是因为它理解你的品味,而是因为它把所有用户对所有电影的评分,写成一个巨大的矩阵——行是用户,列是电影,数值是评分。大多数位置是空的(你没看过大多数电影)。用矩阵分解的方法,填补这些空白——预测你对没看过的电影的评分。这叫协同过滤,是推荐系统的数学核心。

图像处理: 一张图片,本质上是一个矩阵——每个像素是矩阵的一个元素,数值是颜色。模糊、锐化、边缘检测,都是用特定的小矩阵,和图片矩阵做卷积运算。你手机美颜滤镜背后的数学,是矩阵。

自动驾驶: 摄像头拍到的图像是矩阵,激光雷达扫描的点云是矩阵,神经网络的每一层计算是矩阵乘法,车辆运动的物理方程是矩阵。一辆自动驾驶汽车,每秒钟执行数十亿次矩阵运算。

量子计算: 量子比特的状态,用向量表示。量子门,用矩阵表示。整个量子计算的数学语言,是线性代数——矩阵的更深层扩展。

机器学习的每一层: 神经网络的每一层计算,本质上是一个矩阵乘法加上一个非线性函数。GPT这样的语言模型有数千层,每层都是矩阵运算。当你和AI对话,背后是数千次巨型矩阵乘法在毫秒内完成。


七、为什么矩阵乘法要那样定义——现在你知道了

回到一个你在大学线性代数课上可能有过的困惑:

矩阵乘法为什么不是对应位置相乘,而是那个复杂的"行乘列再相加"的规则?

现在你知道了。

因为矩阵乘法在描述的,是关系的传递。

A影响B,B影响C——A通过B影响C的程度,是"A对B的影响"乘以"B对C的影响",然后对所有中间节点求和。

这就是"行乘列再相加"的来源。

这个规则不是数学家拍脑袋定义的,是从"关系如何传递"这个真实需求里,自然生长出来的。

关系是矩阵的本质。矩阵乘法是关系传递的数学。


小结:你学过的,在这里

你学过的 学习阶段 它在现实世界里是什么
数组与列表 小学/初中 矩阵的一维版本,Excel表格的数学基础
坐标系 初中 矩阵用行列定位数字的思想来源
方程组 初中/高中 矩阵是解方程组的系统性工具
向量 高中 神经网络输入输出的基本形式
矩阵的定义 高中/大学 任何关系网络的数学表达
矩阵乘法 大学 关系的传递,神经网络每层的核心计算
行列式 大学 空间变换的"拉伸倍数",判断方程组是否有唯一解
逆矩阵 大学 变换的撤销,解方程组的数学工具
特征值与特征向量 大学 PageRank的数学核心,系统最稳定的方向
线性变换 大学 3D图形、图像处理、神经网络每层计算的数学本质

矩阵解决了关系的问题。

它能把数十亿网页的链接关系,压缩进一个可以被计算的结构。它能从这个结构里,找到最重要的方向。

但矩阵有一个局限:它是确定性的。

矩阵计算给出确定的答案。但真实世界充满了不确定性。

医生面对症状,不能确定诊断。推荐系统面对用户,不能确定偏好。语言模型面对问题,不能确定答案。

处理不确定性,需要另一个工具。

你在高中学过它。

一个18世纪的英国牧师,在业余时间,把它推导了出来。

它叫概率。


__

第三章 概率——不确定性的数学

一个牧师的业余推导,变成了AI的判断引擎


托马斯·贝叶斯是一个18世纪的英国牧师。

他不是职业数学家。数学对他来说,是业余爱好。

1763年,他去世两年后,他的朋友整理了他的遗稿,发现了一篇从未发表的论文。论文里有一个定理,推导了一件在当时看起来很普通的事:

当你获得新的证据,你应该如何更新你已有的判断?

这个定理后来被称为贝叶斯定理。

两百多年后,它成为了垃圾邮件过滤器的核心,成为了医疗诊断系统的基础,成为了自动驾驶汽车感知世界的方式,成为了语言模型预测下一个词的数学根基。

全球每天拦截的数千亿封垃圾邮件,背后是这个牧师的遗稿。

这个数学,你在高中就学过。


一、从确定到不确定

上一章的矩阵,给了我们处理关系的工具。

但矩阵是确定性的。给定输入,输出是确定的。网页A的PageRank,是一个精确的数字。

真实世界不是这样运作的。

一个病人来了,有发烧、咳嗽、乏力。这是什么病?

没有人能确定。可能是流感,可能是普通感冒,可能是新冠,可能是肺炎。每种可能性都有一定的概率,取决于症状的组合,取决于当前流行的疾病,取决于病人的年龄和基础健康状况。

医生做的事情,不是给出确定的答案,而是在不确定性里做出最合理的判断。

这种判断,需要一套处理不确定性的数学。


二、你已经知道的那些

你在初中学过频率——做100次实验,某个结果出现了37次,频率是37%。

你学过古典概型——掷一个骰子,每个面出现的概率是1/6,因为所有面等可能。

你学过加法公式——两个互斥事件,至少一个发生的概率,等于两个概率相加。

你学过乘法公式——两个独立事件,同时发生的概率,等于两个概率相乘。

你学过条件概率——已知某件事发生了,另一件事发生的概率。用竖线表示:P(A|B),读作"在B发生的条件下,A发生的概率"。

你也许学过全概率公式——从原因推结果:知道所有可能的原因和它们的概率,计算某个结果出现的总概率。

然后是贝叶斯定理——从结果推原因:已经看到了结果,反过来推断是哪个原因造成的。

在课本里,贝叶斯定理通常被呈现为一个公式,证明它,然后做几道题,考试。

但它真正的意义,比公式本身深得多。


三、知识点全景

小学阶段:

  • 可能性的比较——(小学)——"更可能"、"不太可能"、"一定"、"不可能"。这是概率最原始的直觉,在生活里每天都在用。

初中阶段:

  • 频率与概率——(初中)——做大量重复实验,某个结果出现的频率,趋近于它的概率。这是概率的实验定义。
  • 古典概型——(初中)——所有结果等可能时,某个事件的概率 = 满足条件的结果数 / 所有可能的结果数。掷骰子、摸球、抽扑克——这类问题的基础。
  • 列举法与树状图——(初中)——系统性地列出所有可能的结果。复杂概率问题的思维工具。

高中阶段:

  • 加法公式:P(A∪B) = P(A) + P(B) - P(A∩B)——(高中)——两个事件至少一个发生的概率。减去重叠的部分,避免重复计算。
  • 乘法公式:P(A∩B) = P(A) × P(B|A)——(高中)——两个事件同时发生的概率。如果独立,P(B|A) = P(B),直接相乘。
  • 条件概率:P(A|B) = P(A∩B) / P(B)——(高中)——已知B发生了,A发生的概率。"已知今天下雨,明天也下雨的概率是多少"——这类问题需要条件概率。
  • 独立事件——(高中)——一个事件的发生不影响另一个事件的概率。抛硬币每次都是独立的,今天的结果不影响明天的结果。
  • 二项分布——(高中)——重复做n次独立实验,每次成功概率为p,成功k次的概率。质量检测、临床试验、民意调查——背后都是二项分布。
  • 期望——(高中)——随机变量的平均值,用概率加权。保险公司定价、赌场设计赔率、投资组合的预期收益——都用期望计算。

大学阶段:

  • 全概率公式——(大学)——从原因推结果的系统方法。知道所有可能的原因和它们的先验概率,计算观察到某个结果的总概率。
  • 贝叶斯定理——(大学)——从结果推原因。看到结果之后,反向更新对各个原因的概率判断。这是本章的核心。
  • 随机变量与概率分布——(大学)——用函数描述随机现象的完整规律。离散分布(计数)和连续分布(测量)。
  • 正态分布——(大学)——自然界和社会中最常见的分布。身高、体重、测量误差、考试成绩——大量独立因素叠加的结果,趋向正态分布。
  • 大数定律——(大学)——样本量足够大,样本均值趋近于总体均值。这是所有统计推断的基础,也是机器学习需要大量数据的数学原因。
  • 最大似然估计——(大学)——给定观察到的数据,找到最可能产生这些数据的参数。机器学习里"训练"的数学含义之一。
  • 贝叶斯推断——(大学/研究生)——把贝叶斯定理应用于参数估计,用数据持续更新对参数的概率判断。

四、贝叶斯定理:更新信念的数学

现在我们来看这个定理本身。

P(原因∣结果)=P(结果∣原因)×P(原因)P(结果)P(\text{原因}|\text{结果}) = \frac{P(\text{结果}|\text{原因}) \times P(\text{原因})}{P(\text{结果})}

用更标准的符号写:

P(H∣E)=P(E∣H)×P(H)P(E)P(H|E) = \frac{P(E|H) \times P(H)}{P(E)}

H是假设(Hypothesis),E是证据(Evidence)。

四个概率,每个都有名字,每个都有含义:

P(H)——先验概率:在看到证据之前,你认为这个假设成立的概率。这是你的初始判断,基于已有的知识和经验。

P(E|H)——似然度:如果这个假设成立,看到这个证据的概率是多少?这是假设对证据的解释能力。

P(E)——边际概率:不管原因是什么,这个证据出现的总体概率。通常用全概率公式计算。

P(H|E)——后验概率:看到证据之后,这个假设成立的概率。这是你更新后的判断。

这个公式说的事情,用一句话表达:

你的新判断 = 你的旧判断 × 新证据对这个判断的支持程度,再做归一化。


五、一个让你看见这个公式的例子

有一种病,在人群中的患病率是1%。有一个检测方法,准确率是95%——如果你有病,95%的概率检测阳性;如果你没病,95%的概率检测阴性。

你去检测,结果是阳性。

你患病的概率是多少?

大多数人的直觉答案是:95%。毕竟检测准确率是95%。

用贝叶斯定理计算:

先验概率:P(患病) = 1% = 0.01似然度:P(阳性|患病) = 95% = 0.95P(阳性|未患病) = 5% = 0.05(假阳性率)

全概率公式:P(阳性) = P(阳性|患病) × P(患病) + P(阳性|未患病) × P(未患病)= 0.95 × 0.01 + 0.05 × 0.99= 0.0095 + 0.0495= 0.059

贝叶斯定理:P(患病|阳性) = 0.95 × 0.01 / 0.059 ≈ 16%

不是95%,是16%。

为什么?

因为这种病本来就很罕见(1%)。即使检测阳性,大多数阳性结果来自没有患病的人(他们人数众多,5%的假阳性率产生了大量阳性)。

这个结果违反直觉,但数学是对的。

它告诉我们:判断一个证据的意义,必须考虑先验概率。稀有事件即使有强证据,后验概率也可能远低于你的直觉。

这个洞见,在医疗诊断、法庭证据、科学研究里,反复出现。很多错误的判断,来自忽视了先验概率。


六、垃圾邮件过滤器:贝叶斯定理的第一个大规模应用

2002年,程序员保罗·格雷厄姆写了一篇文章,题目叫《垃圾邮件计划》。

他提出用贝叶斯定理过滤垃圾邮件。

核心思想是:

对于每一个词,计算两个概率:

  • 这个词出现在垃圾邮件里的概率
  • 这个词出现在正常邮件里的概率

当一封新邮件到来,对它里面的每一个词,用贝叶斯定理更新"这是垃圾邮件"的概率。所有词处理完,最终的概率超过阈值,判定为垃圾邮件。

"免费"这个词,在垃圾邮件里出现频率很高。它让"这是垃圾邮件"的概率上升。"会议"这个词,在正常邮件里出现频率更高。它让"这是垃圾邮件"的概率下降。

每个词都是一条证据。贝叶斯定理把所有证据整合成一个最终判断。

这个方法的准确率,远超之前所有的规则方法。因为它不需要人工定义规则,它从数据中自动学习每个词的概率。

今天,Gmail的垃圾邮件过滤器每天拦截数千亿封垃圾邮件。它的数学核心,是一个18世纪牧师的业余推导。


七、从垃圾邮件到语言模型

贝叶斯定理建立了一个思维框架:

在不确定的世界里,判断不是非黑即白的,而是概率的。当新的证据到来,概率被更新。

这个框架,是现代AI处理不确定性的基础。

语言模型预测下一个词,本质上是在做概率计算:给定前面的所有词,每个可能的下一个词的概率是多少?

自动驾驶汽车感知环境,本质上是在做贝叶斯推断:给定传感器数据,周围每个位置是障碍物的概率是多少?

医疗AI辅助诊断,本质上是在做后验概率计算:给定所有检查结果,每种疾病的可能性是多少?

这些系统的复杂度,远超一个简单的贝叶斯定理。但它们的概率推理核心,来自同一个地方。


八、概率今天在哪里

天气预报: "明天降雨概率70%"——这不是气象学家的猜测,是数值天气预报模型输出的概率分布。现代天气预报系统,每天处理数亿个观测数据点,用概率模型更新对大气状态的判断。

医学临床试验: 一种新药是否有效?不是看它治好了几个人,而是看治疗组和对照组的结果差异,是否在统计意义上显著。假设检验、置信区间、p值——这些统计工具,建立在概率论的基础上。每一个上市的药物,背后是严格的概率推断。

金融风险: 银行给你贷款,不是凭感觉,而是用信用评分模型计算你违约的概率。保险公司的保费,是基于大量历史数据估计的风险概率。

A/B测试: 你看到的网页按钮是红色的,另外一半用户看到的是蓝色的。哪个颜色的点击率更高?这是一个概率统计问题——在观察到的数据下,两种颜色的真实效果差异,有多大的概率不是随机波动?每一个互联网产品的每一个设计决策,背后都有A/B测试,背后都有概率推断。

推荐系统的不确定性处理: 矩阵分解给了推荐系统预测评分的工具,但评分预测本身是不确定的。概率框架让推荐系统不只是给出"你可能喜欢这个"的点估计,而是给出"你有80%的概率喜欢这个,有20%的概率不喜欢"的概率分布,从而在探索(尝试新内容)和利用(推送已知喜欢的内容)之间做出更好的权衡。


小结:你学过的,在这里

你学过的 学习阶段 它在现实世界里是什么
可能性的直觉 小学 所有概率推理的认知起点
频率与概率 初中 机器学习需要大量数据的数学原因
古典概型 初中 等可能事件的概率计算,密码学的基础
加法公式 高中 并集概率,多条件判断的基础
乘法公式 高中 独立事件的联合概率,朴素贝叶斯分类器
条件概率 高中 所有依赖上下文的判断,语言模型的核心
独立事件 高中 特征独立假设,简化复杂概率计算
二项分布 高中 质量检测、临床试验、民意调查
期望 高中 保险定价、赌场设计、投资预期收益
全概率公式 大学 从多个原因计算结果的总概率
贝叶斯定理 大学 垃圾邮件过滤、医疗诊断、自动驾驶感知
正态分布 大学 自然界最普遍的分布,误差分析的基础
大数定律 大学 为什么机器学习需要大数据
最大似然估计 大学 机器学习"训练"的数学含义

概率给了我们在不确定性里做判断的工具。

但判断不是终点。

医生判断了你可能是流感,然后呢?要选择治疗方案。工厂知道了各条生产线的效率,然后呢?要分配资源。推荐系统预测了你的偏好,然后呢?要决定推送什么。

判断之后,是选择。

选择,需要找到最优解。

有无数种可能的方案,有无数种可能的参数组合,哪一个最好?怎么系统性地找到它?

这是另一个真实的问题,逼出了另一个数学工具。

你在高中学过它的起点:导数。

它告诉你,在一个函数的任意一点,往哪个方向走,函数下降最快。

沿着那个方向走,就是找到最优解的方法。

这个方法,叫梯度下降。

它是所有AI系统自动学习的引擎。


__

第四章 优化——找到最好的那个

一行公式,驱动了所有AI的学习


1986年,三个研究者发表了一篇论文。

论文的题目很技术性,没有什么戏剧感。但它解决了一个困扰人工智能研究者将近二十年的问题:

怎么让一个有很多层的神经网络,自动调整它的参数?

这篇论文提出的方法,叫反向传播。

它的数学核心,是梯度下降。

梯度下降的核心,是导数。

导数,你在高中就学过。

今天,ChatGPT有1750亿个参数。训练它的过程,是把这1750亿个数字反复调整,每一次调整都用同一个操作:计算导数,沿着导数指示的方向,把参数移动一小步。

这个操作,重复了数万亿次。

一行公式,重复数万亿次,产生了能和人类对话的AI。

这个公式,建立在你高中学过的导数上。


一、从一个真实的困境开始

想象你站在一座山上,四面都是雾,你看不见远处。

你的目标是走到山谷——最低点。

你能做的,只有感受脚下地面的坡度。坡度告诉你:往哪个方向,地面下降最快。

你沿着下降最快的方向,走一小步。

然后再感受坡度,再走一小步。

反复下去,你会走到某个低点。

这就是梯度下降的全部直觉。

现在把这个直觉翻译成机器学习的语境:

山,是损失函数——衡量机器当前的预测有多错误。山越高,错误越大。

山谷,是最优解——损失函数最小的地方,机器预测最准确的参数组合。

坡度,是梯度——损失函数在当前参数位置的导数。告诉你,往哪个方向调整参数,错误下降最快。

走一小步,是参数更新——沿着梯度的反方向,把参数移动一小步。

反复做,直到到达山谷——损失函数不再显著下降,参数收敛。

这就是AI"学习"的数学本质。


二、你已经知道的那些

导数这个词,你在高中数学里遇到过。

老师告诉你,导数是函数的变化率。f′(x)f'(x),或者写成dfdx\frac{df}{dx},表示函数在x这个点,随x的变化有多快。

几何意义:导数是函数曲线在某点的切线斜率。斜率为正,函数在上升。斜率为负,函数在下降。斜率为零,函数在极值点——峰顶或谷底。

你学过常见函数的导数:xnx^n的导数是nxn−1nx^{n-1},sin⁡x\sin x的导数是cos⁡x\cos x,exe^x的导数是exe^x。

你学过导数的四则运算法则:和的导数,积的导数,商的导数。

你也许学过链式法则:复合函数的导数,等于外层函数的导数乘以内层函数的导数。

ddxf(g(x))=f′(g(x))⋅g′(x)\frac{d}{dx}f(g(x)) = f'(g(x)) \cdot g'(x)

你当时可能做了很多求导的练习题,觉得这是纯粹的计算技巧。

但链式法则,是深度学习的数学心脏。

没有链式法则,就没有反向传播。没有反向传播,就没有深度学习。没有深度学习,就没有现代AI。


三、知识点全景

初中阶段:

  • 函数的概念——(初中)——输入一个数,输出一个数。机器学习里的模型,就是一个复杂的函数:输入数据,输出预测。
  • 最大值与最小值——(初中)——函数在某个范围里的最高点和最低点。优化的目标,就是找到损失函数的最小值。
  • 函数的图像——(初中)——函数的可视化。理解梯度下降,需要能在脑子里想象函数曲线的形状。

高中阶段:

  • 函数的增减性——(高中)——函数在哪里上升,在哪里下降。导数的符号决定了函数的增减性:导数为正,函数上升;导数为负,函数下降。
  • 导数:变化的速率——(高中)——函数在某点的瞬时变化率。这是梯度下降最核心的工具。
  • 导数的几何意义:切线斜率——(高中)——导数是曲线在某点切线的斜率。正斜率向右上倾,负斜率向右下倾,零斜率水平——极值点。
  • 极值的条件:导数为零——(高中)——函数在极大值或极小值处,导数为零。梯度下降收敛时,参数在损失函数的(局部)极小值处,梯度接近零。
  • 导数的四则运算法则——(高中)——和、差、积、商的求导规则。神经网络的损失函数是很多函数的组合,这些规则让求导可以系统化。
  • 链式法则——(高中/大学)——复合函数的导数规则。反向传播的数学基础,没有它就没有深度学习。

大学阶段:

  • 偏导数——(大学)——多变量函数,对某一个变量求导,其他变量视为常数。神经网络有数亿个参数,每个参数都需要一个偏导数。
  • 梯度:偏导数组成的向量——(大学)——所有偏导数放在一起,构成梯度向量。梯度指向函数上升最快的方向,梯度的反方向是下降最快的方向。
  • 梯度下降——(大学)——沿着梯度反方向移动参数,反复迭代,找到函数最小值。这是机器学习训练的核心算法。
  • 凸函数与非凸函数——(大学)——凸函数只有一个最小值(全局最小),非凸函数有很多局部最小值。深度学习的损失函数是非凸的,梯度下降找到的,通常是局部最小值,而不是全局最小值。但实践中,局部最小值往往已经足够好。
  • 学习率——(大学/工业)——每次参数更新的步长大小。太大,可能越过最小值,来回震荡;太小,收敛太慢。选择合适的学习率,是深度学习训练的重要技巧。
  • 损失函数——(大学/研究生)——衡量预测错误程度的函数。均方误差用于回归,交叉熵用于分类。损失函数的选择,决定了模型在优化什么。
  • 随机梯度下降(SGD)——(大学/研究生)——不是用全部数据计算梯度,而是每次随机选一小批数据。大大加速了训练过程,是实际训练大模型的标准方法。
  • 正则化——(大学/研究生)——在损失函数里加入惩罚项,防止模型过拟合——在训练数据上表现很好,在新数据上表现差。

四、那一行公式

现在看这行公式:

wt+1=wt−α⋅∇L(wt)w_{t+1} = w_t - \alpha \cdot \nabla L(w_t)

这是梯度下降的参数更新规则。每个符号都有清晰的含义:

wtw_t——当前时刻的参数。神经网络里所有的权重,打包成一个向量。

∇L(wt)\nabla L(w_t)——损失函数在当前参数处的梯度。这是一个向量,每个分量是损失函数对一个参数的偏导数。它指向损失增大最快的方向。

α\alpha——学习率。每次移动多大的步子。

−α⋅∇L(wt)-\alpha \cdot \nabla L(w_t)——沿着梯度反方向,移动α\alpha步。

wt+1w_{t+1}——更新后的参数。

这一行公式说的事情是:

看看现在的错误在哪个参数方向上增大最快,然后朝相反的方向,移动一小步。

重复这个操作,错误会越来越小,直到收敛。

这就是学习。

一个有1750亿个参数的语言模型,在训练过程中,这行公式被执行了数万亿次。每一次,1750亿个参数都被微微调整。调整完成之后,这个模型能写代码,能讨论哲学,能帮你起草邮件。

从一行公式,到这个结果,中间是数万亿次的重复。


五、链式法则:反向传播的心脏

神经网络有很多层。每一层都是一个函数。整个网络,是很多层函数的复合。

输入进来,经过第一层变换,再经过第二层变换,再经过第三层……最终输出一个预测。然后和正确答案比较,计算损失。

现在问题来了:这个损失,是每一层的参数共同造成的。要更新每一层的参数,需要知道损失对每一层每个参数的偏导数。

怎么计算?

链式法则。

∂L∂w1=∂L∂an⋅∂an∂an−1⋅…⋅∂a2∂a1⋅∂a1∂w1\frac{\partial L}{\partial w_1} = \frac{\partial L}{\partial a_n} \cdot \frac{\partial a_n}{\partial a_{n-1}} \cdot \ldots \cdot \frac{\partial a_2}{\partial a_1} \cdot \frac{\partial a_1}{\partial w_1}

从输出层开始,把损失对参数的偏导数,一层一层地往回传——从最后一层传到倒数第二层,再传到倒数第三层……一直传到第一层。

每传一层,就用链式法则乘上那一层的局部导数。

这个过程,叫反向传播——从输出往输入方向,反向传播梯度信息。

反向传播让每一层的参数都知道:我应该往哪个方向调整,才能让最终的损失减小。

这是1986年那篇论文的核心贡献。


六、目标函数是谁定的

在我们继续之前,有一个问题需要在这里被种下。

梯度下降是一个强大的工具。给它一个目标函数,它会不知疲倦地把参数往那个目标的方向推。数万亿次更新,每次都朝着那个目标靠近一点点。

但这个目标函数,是谁定义的?

在技术文档里,损失函数的选择通常被处理为工程问题:均方误差、交叉熵、哪种损失函数在哪类任务上效果更好。

但损失函数不只是工程问题。它是一个价值选择:

你让机器优化什么,机器就会把一切往那个方向推。

如果你让机器优化用户的点击率,它会学会什么让人忍不住点。如果你让机器优化参与时长,它会学会什么让人停不下来。如果你让机器优化广告收入,它会学会什么让人忍不住消费。

机器没有意志,没有价值观,没有对错。它只是在忠实地执行梯度下降,朝着损失函数的最小值走。

损失函数是中性的数学工具。

但选择损失函数,不是中性的行为。

这粒种子,会在这本书的最后一章,以及下一本书里,长成一棵树。

现在,我们先继续往前走。


七、优化今天在哪里

工程设计: 飞机机翼的形状,需要在升力、阻力、重量之间找到最优平衡。这是一个高维优化问题——机翼形状有无数种参数,目标函数是综合性能指标。用梯度下降的变体求解,每一架现代飞机的气动设计背后都有大规模优化计算。

物流与供应链: 快递公司每天要规划数百万个包裹的配送路线。哪个司机走哪条路线,在哪里中转,如何安排时间,让总成本最小。这是组合优化问题,是梯度下降的亲戚——用不同的优化算法,在约束条件下找最优解。

芯片设计: 现代处理器有数百亿个晶体管,需要在几平方厘米的面积上布局。布局方案的优劣,影响芯片的速度和功耗。2021年,Google用强化学习(优化算法的一种)自动设计芯片布局,结果超过了人类工程师。

蛋白质折叠: AlphaFold用深度学习预测蛋白质的三维结构。训练这个模型,用的是梯度下降。这个问题困扰了生物学家五十年,AlphaFold在几年内解决了数亿种蛋白质的结构预测,为药物研发带来了革命性的工具。

所有深度学习模型的训练: 图像识别、语音识别、机器翻译、语言模型、推荐系统——所有这些模型,训练过程都是梯度下降。优化算法的效率,直接决定了模型训练的速度和质量。Adam、RMSprop、AdaGrad——这些是梯度下降的改进版本,今天所有大模型训练都在使用。


小结:你学过的,在这里

你学过的 学习阶段 它在现实世界里是什么
函数的概念 初中 机器学习模型的数学本质
最大值与最小值 初中 优化问题的目标:找损失函数的最小值
函数的增减性 高中 导数符号判断参数该增大还是减小
导数:变化率 高中 梯度下降的核心工具
切线斜率 高中 导数的几何直觉,理解梯度的起点
极值条件:导数为零 高中 梯度下降收敛时参数停在极小值处
四则运算求导 高中 复杂损失函数的求导基础
链式法则 高中/大学 反向传播的数学心脏,深度学习的基础
偏导数 大学 对每个参数单独求导,多参数优化的基础
梯度 大学 所有偏导数组成的向量,指示下降方向
梯度下降 大学 所有AI系统训练的核心算法
凸与非凸函数 大学 理解为什么深度学习找到局部而非全局最优

我们现在有了三个工具。

矩阵处理关系。概率处理不确定性。优化找到最优解。

但这三个工具,处理的都是数值——数字、向量、矩阵。

真实世界里,很多重要的信息,不是数值,而是结构。

城市的道路网络。互联网的链接网络。人与人之间的社交网络。知识和知识之间的关联网络。

这些网络有一个共同的特征:节点,和节点之间的连接。

处理这种结构,需要另一个工具。

它诞生于1736年,起因是一个关于散步的数学问题。

一个叫柯尼斯堡的城市,有七座桥。有人问:能不能走一条路,每座桥只经过一次,最后回到出发点?

一个叫欧拉的数学家,用半页纸回答了这个问题。

他在回答的过程中,发明了图论。


__

第五章 图论——连接就是权力

1736年的一个散步问题,变成了社交帝国的数学地基


1736年,普鲁士有一座城市叫柯尼斯堡。

城市被一条河分成四块陆地,七座桥把它们连接起来。

当地人有一个消遣:能不能走一条路,每座桥恰好经过一次,最后回到出发点?

没有人能做到,但也没有人能证明这是不可能的。

这个问题传到了数学家莱昂哈德·欧拉那里。

欧拉用了一个当时前所未有的方法:他把四块陆地抽象成四个点,把七座桥抽象成七条线。

然后他证明了:这条路不存在。

证明的关键,不是某个复杂的计算,而是一个简单的观察:如果你要进入一块陆地,就必须能离开它。所以每块陆地连接的桥数,必须是偶数——除非它是起点或终点。

柯尼斯堡的四块陆地,都连接着奇数座桥。所以这条路不可能存在。

欧拉用半页纸,解决了一个让所有人困惑的问题。

更重要的是,他在解决这个问题的过程中,发明了一个全新的数学分支。

这个分支叫图论。

两百八十年后,它成为了Google搜索的骨架,Facebook社交网络的基础,知识图谱的语言,以及流行病传播模型的核心工具。

这个数学,你在高中就接触过了它的起点。


一、把世界画成点和线

图论的核心直觉,极其简单:

把事物画成点,把关系画成线。

城市是点,道路是线。网页是点,链接是线。人是点,认识关系是线。概念是点,关联是线。

任何"谁和谁有什么关系"的问题,都可以用图来表示。

一旦表示成图,所有的关系问题——谁最重要,怎么传播,哪里最脆弱,从A到B最短的路是什么——都有了数学工具可以回答。

这是图论最深刻的地方:它不是关于某种特定事物的数学,它是关于关系本身的数学。

任何存在关系的地方,图论都适用。


二、你已经知道的那些

你在小学学过点和线的基本概念——几何里的点、线、面。

你在初中学过集合——元素和元素之间的关系。

你在高中学过一些隐含图论思想的问题——最短路径,网络流,有时候以"统筹方法"或"优化路线"的形式出现。

你也许在高中数学的"算法与程序框图"里,看过流程图——那是一种有向图。

你学过排列组合——从n个元素里选k个,这和图里的路径计数问题有直接联系。

这些知识点,现在要被连接起来,放进一个更大的框架里。


三、知识点全景

小学/初中阶段:

  • 点、线、面的基本概念——(小学)——图论里节点和边的直觉起点。几何里的点是位置,图论里的节点是实体;几何里的线是形状,图论里的边是关系。
  • 集合与关系——(初中)——节点的集合,边的集合,构成了图的数学定义。集合运算,对应图的操作。
  • 排列与组合——(初中/高中)——图里有多少条路径,有多少种连接方式——这类计数问题,建立在排列组合上。

高中阶段:

  • 函数与映射——(高中)——图可以被理解为一种映射:从节点到节点的关系映射。有向图里,边定义了一个从起点到终点的映射。
  • 矩阵——(高中/大学,见第二章)——图可以用矩阵表示。邻接矩阵:节点i和节点j之间有边,矩阵(i,j)位置为1,否则为0。第二章的矩阵工具,在这里和图论相遇。
  • 统筹方法与最优路线——(高中)——这是图论最短路径问题的高中版本。从A城到B城,经过哪些中转点总距离最短——这就是图论里的最短路径问题。

大学阶段:

  • 图的定义:节点与边——(大学)——图G = (V, E),V是节点集合,E是边的集合。这是图论的形式化起点。
  • 有向图与无向图——(大学)——边有方向(A指向B,但B不指向A)是有向图;边没有方向(A和B互相连接)是无向图。网页链接是有向图,朋友关系通常是无向图。
  • 路径与回路——(大学)——从一个节点出发,经过一系列边,到达另一个节点,这是路径。如果起点和终点相同,是回路。欧拉的柯尼斯堡问题,就是在问是否存在特定类型的回路。
  • 连通性——(大学)——图里任意两个节点之间,是否存在路径。一个图如果所有节点都互相可达,是连通图。互联网是连通图——从任意一个网页出发,通过足够多的链接,可以到达任意另一个网页。
  • 树与生成树——(大学)——没有回路的连通图,叫树。树是最简洁的连通结构——n个节点,恰好n-1条边。文件夹的层级结构、家族的族谱、决策树——都是树形结构。
  • 最短路径算法:Dijkstra算法——(大学)——给每条边一个权重(距离、时间、成本),找从起点到终点权重之和最小的路径。GPS导航的核心算法。给定你的当前位置和目的地,Dijkstra算法在地图的图结构里,找到最短的驾驶路线。
  • 图的矩阵表示:邻接矩阵与度矩阵——(大学)——把图的连接关系,写成矩阵。矩阵的幂,对应图里特定步数的路径数量。第二章的矩阵,和这章的图,在这里融合。
  • 度与度分布——(大学)——一个节点连接了多少条边,叫这个节点的度。网络里所有节点的度的分布规律,揭示了网络的结构特征。互联网和社交网络,都遵循幂律分布——少数节点有极高的度(枢纽节点),大多数节点只有少量连接。
  • 中心性:谁最重要——(大学)——度中心性(连接最多的节点),介数中心性(最多路径经过的节点),特征向量中心性(被重要节点连接的节点)。PageRank是特征向量中心性的一个变体。
  • 小世界网络——(大学/研究生)——在大多数真实网络里,任意两个节点之间的平均路径长度,远小于网络的规模。"六度分隔"——地球上任意两个人,通过不超过六个中间人可以相互认识——是小世界网络的一个体现。
  • 无标度网络——(大学/研究生)——度分布遵循幂律的网络。互联网、社交网络、引用网络,都是无标度网络。少数枢纽节点掌握了绝大多数的连接——这是权力在网络里的分布规律。

四、图论和矩阵相遇

第二章里,我们学了矩阵是关系的语言。

第五章里,我们学了图是关系的结构。

这两者之间,有一座桥——邻接矩阵。

把图里的每个节点编号。然后建一个矩阵,行和列都是节点编号。如果节点i和节点j之间有边,矩阵的(i,j)位置写1,否则写0。

A=(0110101111000100)A = \begin{pmatrix} 0 & 1 & 1 & 0 \\ 1 & 0 & 1 & 1 \\ 1 & 1 & 0 & 0 \\ 0 & 1 & 0 & 0 \end{pmatrix}

这就是邻接矩阵。

现在,矩阵的所有工具,都可以用于图了。

矩阵的幂有一个神奇的性质:AkA^k的(i,j)位置,等于从节点i出发,走k步到达节点j的路径数量。

A2A^2告诉你:哪些节点可以两步到达。A3A^3告诉你:哪些节点可以三步到达。

特征值和特征向量——第二章的核心工具——用在邻接矩阵上,就给出了网络里最重要的节点排名。

PageRank,是图论和线性代数相遇的产物。

整个互联网是一个有向图。邻接矩阵的最重要特征向量,就是所有网页的重要性排名。

这就是Google搜索的完整数学链条:

图论(互联网是有向图)→ 线性代数(邻接矩阵的特征向量)→ PageRank(重要性排名)→ 搜索结果


五、知识图谱:让机器理解关系

图论在AI里最重要的应用之一,是知识图谱。

知识图谱,是把人类知识组织成图的尝试。

节点是实体——人、地点、事物、概念。边是关系——"出生于"、"属于"、"发现了"、"是……的首都"。

比如:

  • 爱因斯坦 → 出生于 → 德国
  • 爱因斯坦 → 发现了 → 相对论
  • 相对论 → 属于 → 物理学
  • 德国 → 位于 → 欧洲

这样的三元组,数以亿计,构成了一个巨大的知识网络。

当你在Google搜索"爱因斯坦的出生地",返回的不是一个网页,而是直接从知识图谱里查询的答案:德国乌尔姆。

这是符号AI最成功的现代形态——不是用逻辑规则推理,而是用图结构存储关系,用图查询回答问题。

Google的知识图谱有超过5000亿个事实。Wikidata有超过100亿个关系。这些知识图谱,是今天所有AI系统理解世界的重要基础之一。


六、社交网络:连接的政治经济学

Facebook,微信,LinkedIn,Twitter——这些平台的数学核心,是图。

每个用户是一个节点。每一段关系——朋友、关注、认识——是一条边。整个平台,是一个有数十亿节点、数千亿条边的巨大图。

图论的工具,在这里产生了巨大的商业价值:

"你可能认识的人"——基于图里的共同邻居。你和某人有很多共同朋友,你们很可能也认识。这是图论里"共同邻居"的直接应用。

"为你推荐"——基于图里的相似性。在社交图里,和你距离近的用户,喜欢的内容也和你相似。推荐系统利用图的结构,找到和你相似的用户,把他们喜欢的内容推荐给你。

信息传播——图的连通性决定了信息能传多远、传多快。一条消息从一个节点出发,沿着图的边传播。枢纽节点——连接最多的那些——是信息传播的放大器。这也是为什么拥有大量粉丝的账号,一条推文可以在几小时内触达数百万人。

影响力的测量——图的中心性度量,直接对应了社会影响力。度中心性高的人,直接连接了最多的人。介数中心性高的人,是不同群体之间的桥梁,信息流通的关键节点。特征向量中心性高的人,被其他重要的人所连接。

但图论揭示的,不只是商业价值。

它也揭示了权力的结构。

一个无标度网络里,少数枢纽节点掌握了绝大多数的连接。这意味着:在一个自然生长的网络里,权力不是均匀分布的,而是高度集中的。

互联网的流量,集中在少数几个平台。社交网络的影响力,集中在少数几个账号。信息的传播,依赖少数几个枢纽节点的转发。

这不是某人的阴谋,这是网络自然生长的数学规律——马太效应:连接越多的节点,越容易获得新的连接,强者恒强。

图论,让我们看见了这个规律。


七、流行病传播:图论救了多少命

2020年,新冠病毒开始传播。

流行病学家面对的核心问题:病毒会传播到哪里?传播速度多快?什么样的干预措施最有效?

回答这些问题,用的工具之一,是图论。

把人与人之间的接触关系,画成图。节点是人,边是有足够密切接触、可能传播病毒的关系。

病毒沿着图的边传播。初始感染者是图里的一个节点,病毒经过边传播到邻居节点,再从邻居传到邻居的邻居……

图的结构决定了传播的速度和范围:

  • 连通性高的图,传播快,范围广。
  • 枢纽节点(超级传播者)被感染,会引发爆发性传播。
  • 切断关键的边(隔离高风险接触),可以有效减缓传播。

封城、隔离、减少接触——这些政策的数学依据,是图论的连通性和传播模型。

切断足够多的边,让图的连通性低于临界阈值,传播就会自然衰减。

图论,不只是互联网公司的工具。在公共卫生危机里,它是政策决策的数学基础。


八、图论今天在哪里

GPS导航: 你输入目的地,导航给出最优路线。这是Dijkstra算法(或其变体)在地图图结构上的应用。城市是节点,道路是带权重的边(权重是距离或时间),算法找到总权重最小的路径。每一次导航,都是一次图论计算。

电网与基础设施: 电力系统是一个图——发电站、变电站、用户是节点,输电线路是边。当一条输电线路故障,会影响哪些区域?备用路径是什么?这是图的连通性和故障传播分析问题。

推荐系统的图神经网络: 现代推荐系统,越来越多地使用图神经网络——把用户、物品、标签构建成图,用神经网络学习图结构里的模式。这是图论和神经网络(第八章)的结合。

知识图谱与问答系统: 语言模型回答"谁发现了青霉素",背后是知识图谱的查询。图论提供了知识的结构,语言模型提供了理解问题和生成回答的能力。两者结合,是今天AI助手回答事实性问题的主要方式。

芯片设计与电路布局: 处理器上的晶体管连接关系,是一个图。优化布局,减少连线长度,是图论的优化问题。

药物研发: 分子结构是图——原子是节点,化学键是边。图神经网络分析分子图,预测药物的性质,加速新药发现。AlphaFold预测蛋白质结构,也大量使用了图的思想。


小结:你学过的,在这里

你学过的 学习阶段 它在现实世界里是什么
点和线的概念 小学 图论节点和边的直觉起点
集合与关系 初中 图的数学定义基础
排列组合 初中/高中 图里路径计数问题的工具
矩阵(见第二章) 高中/大学 图的邻接矩阵表示,图论和线性代数的桥梁
最优路线问题 高中 Dijkstra最短路径算法的高中版本
图的基本定义 大学 任何关系网络的数学表达
有向图与无向图 大学 网页链接(有向)vs 朋友关系(无向)
连通性 大学 信息能否在网络里流通,疾病能否传播
最短路径算法 大学 GPS导航的数学核心
邻接矩阵 大学 图论与线性代数的融合,PageRank的基础
中心性 大学 影响力的数学度量,PageRank的图论来源
幂律分布与无标度网络 大学/研究生 互联网权力集中的数学原因

我们现在有四个工具。

矩阵处理关系。概率处理不确定性。优化找到最优解。图论描述网络结构。

这四个工具,处理的都是某种已知的结构——关系、概率、目标、连接。

但还有一个更基础的问题没有被回答:

信息本身,是什么?

一条消息携带了多少信息?信息能被压缩到多小?在嘈杂的环境里,信息能被可靠传输吗?

这些问题,在1948年之前,没有严格的数学答案。

那一年,一个在贝尔实验室工作的数学家,用一篇论文,给出了答案。

他把"信息"变成了一个可以被精确测量的量。

这个量,建立在你高中学过的对数上。

它叫熵。


__

第六章 信息论——信息是可以被称重的

一个1948年的天才,定义了数字文明的基础单位


1948年,克劳德·香农在《贝尔系统技术期刊》上发表了一篇论文。

论文的题目是《通信的数学理论》。

在这篇论文里,香农做了一件在此之前没有人做过的事:

他定义了"信息"是什么。

不是哲学意义上的定义,不是模糊的描述,而是一个精确的数学定义——信息可以被测量,有单位,有计算公式。

这个定义,是今天所有数字通信的基础。

你手机里的每一张照片,经过压缩,体积缩小了几十倍,但你几乎看不出画质损失。这背后是香农的信息论。

你发的每一条微信语音,在嘈杂的网络里被可靠传输。这背后是香农的信道编码理论。

你下载的每一个文件,每一段视频,每一首歌——互联网能够承载这一切,因为信息可以被高效压缩和可靠传输。这一切,都建立在1948年那篇论文上。

语言模型预测下一个词,用的损失函数叫交叉熵。

交叉熵,来自信息论。

这个数学,建立在你高中学过的对数上。


一、一个让你感受到信息量的问题

先做一个思想实验。

有两条天气预报:

第一条: "明天撒哈拉沙漠晴天。"

第二条: "明天上海晴天。"

哪条携带的信息量更多?

直觉告诉你:第一条。

因为撒哈拉沙漠几乎每天都是晴天,这条预报告诉你的,是你本来就知道的事情——几乎没有新信息。

但上海的天气变化多端,晴天、阴天、雨天都有可能。"明天晴天"这条预报,真正告诉了你一些不确定的事情——携带了真实的信息。

香农的核心洞见是:

一个事件携带的信息量,与它发生的概率成反比。越意外的事情,携带越多信息。越平凡的事情,携带越少信息。

这个洞见,可以被数学化。


二、你已经知道的那些

你在高中学过对数。

log⁡28=3\log_2 8 = 3,意思是23=82^3 = 8。

log⁡21=0\log_2 1 = 0,意思是20=12^0 = 1。

对数把乘法变成加法:log⁡(a×b)=log⁡a+log⁡b\log(a \times b) = \log a + \log b。

你学过对数函数的图像——它增长得越来越慢。x从1增加到2,对数增加了1。x从2增加到4,对数才又增加1。x从4增加到8,对数再增加1。

你也许当时觉得,对数是一个奇怪的数学工具,出现在一些复杂的计算里,但不清楚它的直觉是什么。

对数的直觉是:它衡量的是"数量级"——需要多少个2相乘才能得到这个数。

这个直觉,和信息论直接相连。


三、知识点全景

小学/初中阶段:

  • 进制与编码:二进制——(初中)——计算机用0和1存储所有信息。一个二进制位(bit)可以表示两种状态:0或1。这是信息的最小单位,也是信息论的起点。
  • 对数的基本概念——(初中/高中预备)——log⁡ab\log_a b是"a的几次方等于b"的答案。信息论用以2为底的对数,因为信息的基本单位是比特(bit),对应二进制。

高中阶段:

  • 对数的定义与性质——(高中)——log⁡a(mn)=log⁡am+log⁡an\log_a(mn) = \log_a m + \log_a n(乘法变加法),log⁡a(m/n)=log⁡am−log⁡an\log_a(m/n) = \log_a m - \log_a n(除法变减法)。这些性质,是信息量计算的数学基础。
  • 对数函数的图像与性质——(高中)——对数函数单调递增,增长越来越慢。概率越小的事件,−log⁡p-\log p越大——信息量越多。
  • 指数函数与对数函数的关系——(高中)——互为反函数。指数增长对应对数压缩——这是数据压缩的直觉基础。
  • 概率——(高中,见第三章)——信息论建立在概率上。一个事件的信息量,由它的概率决定。

大学阶段:

  • 自信息量:一个事件的信息——(大学)——事件x发生的信息量定义为I(x)=−log⁡2p(x)I(x) = -\log_2 p(x)。概率为1的事件,信息量为0(你早就知道了)。概率为1/2的事件,信息量为1比特(抛硬币的结果)。概率为1/8的事件,信息量为3比特(需要3个是/否问题才能确定)。
  • 香农熵:整个分布的平均信息量——(大学)——
H(X)=−∑xp(x)log⁡2p(x)H(X) = -\sum_{x} p(x) \log_2 p(x)

对所有可能的结果,把"概率乘以信息量"加起来,取平均。熵衡量的是整个分布的不确定程度——不确定性越高,熵越大。

  • 联合熵与条件熵——(大学)——两个变量一起的不确定性,以及已知一个变量后另一个变量的剩余不确定性。
  • 互信息——(大学)——两个变量共享多少信息。知道X之后,Y的不确定性减少了多少。互信息为零,意味着两个变量完全独立。
  • KL散度——(大学/研究生)——衡量两个概率分布之间的差异。用分布Q去近似分布P,额外需要付出多少信息代价。
  • 交叉熵——(大学/研究生)——用分布Q来编码实际分布为P的信息所需的平均比特数:
H(P,Q)=−∑xp(x)log⁡2q(x)H(P, Q) = -\sum_{x} p(x) \log_2 q(x)

当Q等于P时,交叉熵等于熵,取到最小值。交叉熵越大,Q和P差距越大。深度学习最常用的损失函数,就是交叉熵。

  • 香农信道容量定理——(大学/研究生)——每个通信信道有一个容量上限C,只要传输速率低于C,就可以做到任意低的错误率。这是信息论最深刻的定理之一——它告诉你,可靠通信在理论上总是可能的,只要你愿意做足够好的编码。
  • 数据压缩的极限:香农源编码定理——(大学/研究生)——数据压缩有一个理论下限:平均每个符号至少需要H(X)个比特来编码。熵是压缩的极限,无法突破。

四、熵:不确定性的刻度

现在来看熵的公式:

H(X)=−∑xp(x)log⁡2p(x)H(X) = -\sum_{x} p(x) \log_2 p(x)

用一个例子感受它。

情况一: 一枚公平的硬币。正面概率0.5,反面概率0.5。

H=−(0.5×log⁡20.5+0.5×log⁡20.5)H = -(0.5 \times \log_2 0.5 + 0.5 \times \log_2 0.5)

1比特。这意味着:抛这枚硬币的结果,携带了1比特的信息。你需要1个是/否问题才能确定结果。

情况二: 一枚不公平的硬币。正面概率0.9,反面概率0.1。

H=−(0.9×log⁡20.9+0.1×log⁡20.1)H = -(0.9 \times \log_2 0.9 + 0.1 \times \log_2 0.1)

只有0.469比特。比公平硬币的1比特小得多。

为什么?

因为这枚硬币几乎总是正面,结果高度可预测,不确定性很低,信息量很小。

情况三: 一个骰子。六个面,每面概率1/6。

H=−6×16×log⁡216=log⁡26≈2.585 比特H = -6 \times \frac{1}{6} \times \log_2 \frac{1}{6} = \log_2 6 \approx 2.585 \text{ 比特}

2.585比特。比硬币多。因为骰子有更多可能的结果,不确定性更高。

熵的直觉:不确定性越高,熵越大,信息量越多。

一个你完全能预测结果的系统,熵为零,不携带任何信息。一个所有结果等可能的系统,熵最大,每个结果都很意外,信息量最多。


五、压缩:熵是极限

你手机里一张未压缩的照片,可能有好几十兆字节。压缩成JPEG之后,可能只有几百KB,质量几乎没有损失。

压缩是怎么做到的?

本质上,压缩是在利用信息的冗余性。

想象一个文本文件,里面有大量重复的内容。比如,字母"e"出现的频率远高于字母"z"。

如果用固定长度的编码——每个字母都用8个比特——那么常见的"e"和罕见的"z"占用的空间是一样的。这很浪费。

更聪明的做法:给常见的字母分配更短的编码,给罕见的字母分配更长的编码。"e"用2个比特表示,"z"用12个比特表示。整体上,平均每个字母占用的比特数,会远小于8。

这就是哈夫曼编码——一种接近最优的压缩方法。

香农证明了:任何压缩方法,平均每个符号至少需要H(X)个比特。熵是压缩的理论下限,无法突破。

这意味着:熵不只是一个抽象的数学量,它是信息压缩能力的物理极限。

ZIP、MP3、JPEG、H.264视频编码——所有这些压缩算法,都是在尽力逼近这个由熵决定的理论极限。


六、交叉熵:深度学习的损失函数

现在我们来到信息论和深度学习的交汇点。

训练一个分类模型——比如识别图片里是猫还是狗。

模型输出的是一个概率分布Q:它认为这张图片是猫的概率是0.7,是狗的概率是0.3。

真实答案是一个分布P:这张图片是猫,概率1;是狗,概率0。

我们想衡量:模型的预测Q和真实情况P有多大差距?

用交叉熵:

H(P,Q)=−∑xp(x)log⁡2q(x)H(P, Q) = -\sum_{x} p(x) \log_2 q(x)

对这个例子:

H(P,Q)=−(1×log⁡20.7+0×log⁡20.3)H(P, Q) = -(1 \times \log_2 0.7 + 0 \times \log_2 0.3)
=−log⁡20.7≈0.515 比特= -\log_2 0.7 \approx 0.515 \text{ 比特}

如果模型预测得更准,比如猫的概率是0.95:

H(P,Q)=−log⁡20.95≈0.074 比特H(P, Q) = -\log_2 0.95 \approx 0.074 \text{ 比特}

交叉熵更小,说明预测更接近真实。

当模型完全正确,猫的概率预测为1:

H(P,Q)=−log⁡21=0H(P, Q) = -\log_2 1 = 0

交叉熵为零。完美预测,零损失。

这就是为什么交叉熵是深度学习最常用的损失函数。

它有清晰的信息论含义:用模型的预测分布Q,来编码真实分布P的信息,所需要的额外比特数。模型预测越准,这个额外代价越小。

梯度下降(第四章)最小化交叉熵(第六章)。

优化和信息论,在这里相遇。


七、语言模型的困惑度

语言模型有一个评估指标,叫困惑度(Perplexity)。

困惑度衡量的是:模型对语言有多"困惑"——对下一个词的预测,平均有多不确定。

困惑度越低,模型对语言的掌握越好。

困惑度的数学定义,直接来自信息论:

Perplexity=2H(P,Q)\text{Perplexity} = 2^{H(P,Q)}

它是交叉熵的指数变换。如果模型的交叉熵是H,困惑度是2H2^H——大约相当于,模型在每个位置,感觉自己面对的是一个有2H2^H种等可能选择的随机过程。

困惑度为10,意味着模型预测每个词时,感觉像是在10个等可能的候选里随机选。困惑度为2,意味着模型对下一个词有极强的把握。

GPT-4的困惑度,在标准测试集上,已经接近人类水平。

这个指标,是信息论对语言模型能力的数学测量。


八、信息论今天在哪里

所有数字通信: 你的手机信号、WiFi、5G网络——都用到了信道编码,确保信息在噪声环境里可靠传输。香农信道容量定理,给出了每种信道能传输信息量的理论上限。工程师的工作,是设计尽量接近这个上限的编码方案。

数据存储: 硬盘、SSD、云存储——存储的本质是编码。如何用尽量少的比特,存储尽量多的信息?这是信源编码问题,信息论给出了理论极限和实现方法。

二维码与纠错码: 二维码可以在部分损坏的情况下,仍然被正确读取。这是纠错码——在信息里加入冗余,使得即使部分信息丢失或损坏,也能恢复原始内容。纠错码的设计,建立在信息论上。

密码学: 一次性密码本(One-Time Pad)是理论上无法破解的加密方案。香农用信息论证明了它的完美安全性——密文和明文之间的互信息为零,密文不携带任何关于明文的信息。现代密码学的安全性分析,大量使用信息论工具。

机器学习的特征选择: 在建立预测模型之前,需要从大量特征里选择最有用的。互信息衡量一个特征和目标变量共享多少信息——互信息高的特征,对预测更有帮助。特征选择,是信息论在机器学习里的直接应用。

神经网络的信息瓶颈理论: 一个深度神经网络,从输入到输出,在做什么?信息瓶颈理论用信息论的语言描述:网络在压缩输入里的无关信息,同时保留对输出预测有用的信息。这是理解深度学习为什么有效的一个信息论视角。


九、香农的遗产

香农在1948年那篇论文里,解决了几个此前没有人能回答的问题:

信息可以被量化——用熵测量。信息可以被压缩——极限是熵。信息可以被可靠传输——只要速率低于信道容量。

这三个结论,奠定了整个数字时代的技术基础。

没有信息论,就没有高效的数据压缩。没有压缩,互联网无法承载今天的流量。没有信道编码,无线通信无法可靠工作。没有交叉熵损失函数,深度学习的训练会更困难。

香农是一个在贝尔实验室工作的工程师,他的论文解决的是通信系统的实际问题。

但他发明的数学语言,比任何具体的工程应用都更持久。

它成为了信息时代的基础语言——测量信息、压缩信息、传输信息、学习信息的共同框架。


小结:你学过的,在这里

你学过的 学习阶段 它在现实世界里是什么
二进制 初中 信息的最小单位比特,所有数字信息的基础
对数的定义 高中 信息量的计算基础,I(x)=−log⁡2p(x)I(x) = -\log_2 p(x)
对数的性质(乘法变加法) 高中 独立事件信息量可以相加的数学原因
对数函数的图像 高中 理解熵为什么用对数衡量不确定性
概率(见第三章) 高中 熵建立在概率分布之上
自信息量 大学 单个事件携带的信息量
香农熵 大学 整个分布的平均不确定性,压缩的理论极限
互信息 大学 特征选择,两个变量的信息共享程度
KL散度 大学/研究生 衡量两个分布的差异
交叉熵 大学/研究生 深度学习最常用的损失函数
信道容量 大学/研究生 通信系统传输速率的理论上限

我们现在有了五个工具。

矩阵处理关系。概率处理不确定性。优化找到最优解。图论描述网络结构。信息论量化信息。

这五章,各自解决了一类真实的问题。

但它们彼此之间,还有一个尚未被充分连接的问题:

语言,怎么被数学化?

"猫"和"狗","国王"和"王后"——这些词之间的关系,这些词携带的意义,怎么被表示成可以计算的数学对象?

人类语言里有几十万个词。这些词之间有无数种关系——相似性、反义、上下位关系、类比关系。

把这种关系,放进一个数学空间,让相似的词靠近,让类比关系变成向量运算——这需要第二章矩阵工具的深层扩展。

这个扩展,让"国王减去男人加上女人等于王后"成为可计算的事实。

它叫奇异值分解。

你在大学线性代数里学过它。

你当时可能觉得它是最难懂的章节之一。

现在你会看见,它在做一件极其优雅的事情:找到数据里最重要的方向。


__

第七章 线性代数的深处——给意义一个坐标

国王减去男人加上女人,等于王后


2013年,Google的研究团队发布了一个工具,叫Word2Vec。

他们展示了一个让所有人目瞪口呆的结果:

国王 - 男人 + 女人 ≈ 王后

不是比喻,是字面意义上的数学计算。

他们把每个词,变成了一个高维空间里的向量。然后发现:在这个空间里,"国王"和"王后"之间的距离,和"男人"和"女人"之间的距离,几乎完全相同。

性别关系,变成了向量空间里的一个方向。

类比关系,变成了向量加减法。

语言的意义,被数学化了。

这不是Word2Vec研究者从零发明的。它建立在线性代数里一个已经存在几十年的工具上——奇异值分解。

这个工具,你在大学线性代数里学过。你当时可能觉得它是整本书最难懂的部分之一。

现在你会看见:它在做一件极其优雅的事情——在海量数据里,找到最重要的结构。


一、一个让你感受到高维空间的问题

先做一个思想实验。

你怎么描述一部电影?

你可以说:这部电影动作场面多,这部文艺片成分重,这部偏喜剧,这部特效多,这部剧情复杂,这部节奏快……

每一个维度,都是电影的一个特征。

如果你用数字量化这些特征,每部电影就变成了一个多维空间里的点——比如"动作程度"是第一维,"文艺程度"是第二维,"喜剧程度"是第三维……

相似的电影,在这个空间里靠近。《速度与激情》和《变形金刚》在"动作"维度上靠近。《爱乐之城》和《波西米亚狂想曲》在"音乐"和"文艺"维度上靠近。

Netflix的推荐系统,就是在做这件事——把电影和用户,都放进同一个高维空间,计算距离,找到最近的邻居。

把事物变成高维空间里的点,然后用空间里的距离衡量相似性。

这是第七章的核心直觉。


二、你已经知道的那些

你在初中学过坐标系——用两个数字,确定平面上一个点的位置。(3, 4)是一个点,(1, 2)是另一个点。两点之间的距离,用勾股定理计算。

你在高中学过向量——有大小有方向的量。可以用一列数字表示:(3, 4)是一个二维向量,(1, 2, 5)是一个三维向量。

你学过向量的点积:

(a1,a2)⋅(b1,b2)=a1b1+a2b2(a_1, a_2) \cdot (b_1, b_2) = a_1 b_1 + a_2 b_2

点积衡量两个向量的相似程度——方向相同,点积大;方向相反,点积为负;方向垂直,点积为零。

你在大学线性代数里学过矩阵的秩——矩阵里真正独立的信息有多少维。

你也许学过正交矩阵——列向量互相垂直,代表不同方向,互不冗余。

这些,都是第七章的基础。

但现在我们要把它们推进到三维之外——推进到几百维,几千维,甚至更高。

数学不在乎维度是3还是300。计算规则完全一样。


三、知识点全景

初中阶段:

  • 坐标与坐标系——(初中)——用数字描述位置。这是把任何事物变成数学对象的基本方法。词可以有坐标,电影可以有坐标,用户可以有坐标。
  • 勾股定理——(初中)——两点之间的距离公式。推广到n维空间,就是欧氏距离,衡量任意两个向量的距离。

高中阶段:

  • 向量的定义:大小与方向——(高中)——n维空间里的有向量。每个词,每张图片,每个用户,都可以被表示为一个高维向量。
  • 向量的加法与减法——(高中)——向量加减法。"国王 - 男人 + 女人",就是向量的加减法运算。
  • 向量的数乘——(高中)——向量乘以一个数,长度变化,方向不变。
  • 向量的点积——(高中)——a⋅b=∣a∣∣b∣cos⁡θ\mathbf{a} \cdot \mathbf{b} = |\mathbf{a}||\mathbf{b}|\cos\theta。点积的符号和大小,衡量两个向量方向的相似程度。余弦相似度——两个向量夹角的余弦值——是衡量语义相似性的标准方法。
  • 向量的模——(高中)——向量的长度。归一化——把向量除以它的模——让所有向量长度为1,方便比较方向。

大学阶段:

  • 线性相关与线性无关——(大学)——一组向量里,有没有冗余的信息。线性无关的向量,每个都贡献了新的方向,没有重复。
  • 基与坐标变换——(大学)——用一组基向量来表示空间里的所有点。换一组基,就是换一个看待数据的角度。
  • 矩阵的秩——(大学)——矩阵里真正独立的信息维度。秩低于行数或列数,说明数据有冗余,可以压缩。
  • 正交矩阵——(大学)——列向量互相垂直、长度为1的矩阵。正交变换保持距离不变,只是旋转视角。
  • 特征值分解——(大学)——对称矩阵可以分解为特征向量和特征值的组合。特征向量是数据最重要的方向,特征值是那个方向的重要程度。
  • 奇异值分解(SVD)——(大学/研究生)——任意矩阵都可以分解为三个矩阵的乘积。这是本章的核心工具。
  • 主成分分析(PCA)——(大学/研究生)——用SVD找到数据最重要的方向,把高维数据投影到低维,保留最多的信息。数据可视化、特征提取、降噪——都用PCA。
  • 余弦相似度——(大学)——两个向量夹角的余弦值,衡量方向相似性,不受向量长度影响。搜索引擎的语义匹配,推荐系统的相似度计算,都用余弦相似度。
  • Embedding——(研究生/工业)——把离散的符号(词、用户、物品)映射到连续的高维向量空间。这是所有现代语言模型和推荐系统的基础表示层。

四、奇异值分解:找到数据最重要的方向

现在来看这章最核心的工具。

任何矩阵A,都可以被分解为三个矩阵的乘积:

A=UΣVTA = U \Sigma V^T

这个分解叫奇异值分解。每个部分都有清晰的含义:

VTV^T——旋转输入空间。 V的列是输入空间里的正交方向——数据最自然的"坐标轴"。VTV^T把数据旋转到这些坐标轴上。

Σ\Sigma——拉伸。 这是一个对角矩阵,对角线上的数叫奇异值,从大到小排列。每个奇异值,衡量对应方向的重要程度——奇异值越大,这个方向携带的信息越多。

UU——旋转输出空间。 U的列是输出空间里的正交方向。

把这三步合起来看:

SVD在做的事情,是找到数据里最重要的方向,然后用这些方向重新表达数据。

最重要的方向,对应最大的奇异值。

现在关键的一步:降维。

如果我们只保留最大的k个奇异值,以及对应的方向,忽略其余的方向——我们就得到了原始矩阵的一个低秩近似。

这个近似,保留了原始数据最重要的结构,丢弃了不重要的细节。

这就是降维。这就是压缩。这就是"在保留最多信息的前提下,用最少的维度表达数据"。


五、一个让你看见SVD的例子

想象一个矩阵,行是用户,列是电影,每个数值是评分。

(5400450000450054)\begin{pmatrix} 5 & 4 & 0 & 0 \\ 4 & 5 & 0 & 0 \\ 0 & 0 & 4 & 5 \\ 0 & 0 & 5 & 4 \end{pmatrix}

前两个用户喜欢前两部电影(动作片),不喜欢后两部(文艺片)。后两个用户相反。

对这个矩阵做SVD,最大的奇异值对应的方向,会自动找到"动作片偏好 vs 文艺片偏好"这个区分维度。

不是人告诉算法"这是动作片,那是文艺片",算法从评分数据里,自动发现了这个结构。

SVD在做的,是从数据里自动发现隐藏的结构。

电影有动作/文艺的隐藏维度,用户有对应的隐藏偏好。SVD把这些隐藏维度提取出来。

Netflix的推荐系统,用的正是这个思想——矩阵分解,发现用户和电影的隐藏特征,用这些特征预测评分。


六、从SVD到Embedding:给语言一个坐标

Word2Vec的"国王 - 男人 + 女人 ≈ 王后",怎么实现的?

核心思想,来自语言学的一个古老观察:

一个词的意义,由它的上下文决定。

"银行"这个词,出现在"存款、利率、贷款"附近,是金融机构的意思。出现在"河边、游泳、钓鱼"附近,是河岸的意思。

Word2Vec训练一个神经网络,做这样的任务:给定一个词的上下文,预测这个词。或者反过来,给定一个词,预测它的上下文。

训练完成之后,网络为每个词学到了一个向量。这个向量,编码了这个词的上下文分布——它在什么情况下出现,和什么词一起出现。

因为"国王"和"王后"在很相似的上下文里出现——宫廷、权力、统治——它们的向量方向相近。

因为"男人"和"女人"的差异,是性别维度——和"国王"的性别差异是一样的——所以:

国王⃗−男人⃗+女人⃗≈王后⃗\vec{\text{国王}} - \vec{\text{男人}} + \vec{\text{女人}} \approx \vec{\text{王后}}

这不是魔法,这是数学空间里关系的自然涌现。

语言里的类比关系——"巴黎之于法国,如同东京之于日本"——在向量空间里,变成了平行的向量差。

这是人类第一次,用数学精确地表达了语言意义的结构。


七、高维空间的直觉

三维空间,你可以想象。

三百维空间,无法想象,但可以计算。

这里有一些高维空间的反直觉事实,值得知道:

高维空间里,距离的含义发生了变化。 在低维空间里,"附近"和"远处"的界限清晰。在高维空间里,大多数点都和其他点"差不多远"——距离变得不那么有区分力。这就是为什么机器学习需要大量数据——高维空间太空旷了,需要足够多的点才能覆盖重要区域。

高维空间里,大多数体积在表面附近。 这和低维直觉完全相反。一个高维球体,几乎所有的体积,集中在靠近表面的薄壳里。这个性质,影响了很多机器学习算法的行为。

但高维空间也有它的优势。 在低维空间里线性不可分的数据(无法用一条直线分开),在足够高的维度里,往往变得线性可分。这是支持向量机和核方法的直觉基础,也是为什么神经网络把数据逐层变换到更高维,然后在高维里做分类。


八、注意力机制的前身

第七章在这里要埋下一个种子,它会在第八章里生长。

Embedding解决了"如何表示一个词"的问题。

但语言不是孤立的词,是有顺序的序列。"我爱你"和"你爱我",用的是同样的词,但意思不同。

更深的挑战:同一个词,在不同上下文里意思不同。

"苹果很好吃"里的"苹果",和"苹果公司发布了新手机"里的"苹果",是不同的含义。

静态的Embedding,给每个词一个固定的向量,无法捕捉这种上下文依赖的意义变化。

解决这个问题,需要一种动态的表示——根据上下文,实时调整每个词的向量。

这个思想,叫注意力机制。

它是第八章的核心,也是Transformer架构——所有现代语言模型的骨架——的心脏。

它的数学,建立在向量点积上。

你在高中学过向量点积。


九、线性代数的深处今天在哪里

推荐系统: Netflix、Spotify、抖音——所有推荐系统的核心,是矩阵分解。用SVD或其变体,把用户-物品评分矩阵分解,发现用户和物品的隐藏特征,预测未知评分。你下一首喜欢的歌,是SVD在高维空间里帮你找到的。

图像压缩: JPEG压缩用到了离散余弦变换,它是SVD的亲戚。把图片矩阵变换到频率域,保留重要的低频成分,丢弃人眼不敏感的高频细节。一张10MB的原始图片,压缩成几百KB,质量几乎不变。

自然语言处理: 所有现代语言模型——BERT、GPT、LLaMA——的第一层,都是Embedding层。把输入的词,变成高维向量,然后后续层在这个向量空间里做变换。Embedding层的质量,直接影响模型对语言的理解能力。

人脸识别: 人脸识别系统,把每张人脸变成一个高维向量(人脸Embedding)。相同的人,向量相近;不同的人,向量远离。认证的过程,是计算输入人脸和数据库里存储的向量的余弦相似度——高于阈值,认证通过。

搜索引擎的语义理解: 关键词匹配只能找到包含相同词的结果。语义搜索,把查询和文档都变成向量,用余弦相似度找到语义最相近的结果——即使用词完全不同。你搜索"心情不好",语义搜索能找到"情绪低落"、"郁闷"相关的内容。

药物研发: 分子结构可以被表示成向量。SVD和深度学习找到分子的隐藏特征,预测分子的生物活性、毒性、药代动力学性质,加速药物筛选,把新药研发从十年压缩到几年。


小结:你学过的,在这里

你学过的 学习阶段 它在现实世界里是什么
坐标与坐标系 初中 把任何事物表示为空间里的点
勾股定理 初中 高维空间里的欧氏距离公式
向量的定义 高中 词、图片、用户的数学表示形式
向量加减法 高中 "国王-男人+女人=王后"的数学操作
向量点积 高中 余弦相似度,衡量语义相似性的核心工具
向量的模 高中 向量归一化,让相似度只看方向不看大小
线性相关与无关 大学 判断特征是否冗余
矩阵的秩 大学 数据的真实维度,压缩的可能性
正交矩阵 大学 SVD分解里的旋转矩阵
特征值分解 大学 对称矩阵的主方向和重要程度
奇异值分解SVD 大学/研究生 任意矩阵的最重要方向,降维和压缩的核心
主成分分析PCA 大学/研究生 SVD在数据降维里的直接应用
余弦相似度 大学 语义搜索、推荐系统、人脸识别的相似度度量
Embedding 研究生/工业 所有现代AI系统的输入表示层

七章走到这里,我们拥有了七个工具:

逻辑——推理的语言矩阵——关系的语言概率——不确定性的语言优化——寻找最优解的方法图论——网络结构的语言信息论——信息量化的语言线性代数的深处——意义的数学坐标

这七个工具,各自解决了一类真实的问题。

现在,是时候看见它们汇聚的时刻了。

1958年,一个叫弗兰克·罗森布拉特的心理学家,造出了第一个人工神经元——感知机。

它用了矩阵,用了优化,用了概率的直觉。

七十年后,它的后代——Transformer——用了以上所有七个工具。

在那七十年里,发生了什么?

这是第八章的故事。

也是这本书最重要的一章。


__

第八章 神经网络——当所有工具汇聚

七十年,七个工具,一次改变世界的汇聚


2012年9月,一个叫AlexNet的神经网络,参加了一个图像识别比赛。

比赛的任务是:识别图片里的物体,把它分进1000个类别之一。

在此之前,最好的系统错误率是26%左右。

AlexNet的错误率是15.3%。

把所有竞争对手远远甩在身后。

这一年,被称为深度学习革命的元年。

从那一天开始,几乎所有的AI研究者,都转向了深度学习。资金涌入,人才聚集,应用爆炸。

五年后,神经网络的错误率降到了3%,超过了人类平均水平(约5%)。

十年后,语言模型能写代码、讨论哲学、生成图像、辅助医疗。

这一切,从2012年那个比赛开始。

但2012年并不是神经网络的起点。那一天,是七十年积累的一次爆发。

七十年里,前七章的所有工具,被逐一发现,逐一完善,然后在那个时刻,汇聚在一起。

这是第八章要讲的故事。


一、从一个神经元开始

1943年,神经科学家沃伦·麦卡洛克和数学家沃尔特·皮茨,发表了一篇论文。

他们做了一件简单但深刻的事:

把生物神经元,抽象成数学模型。

一个生物神经元,接收来自其他神经元的信号,把信号加权求和,如果总和超过一个阈值,就激活,向下一个神经元发出信号。

用数学语言写:

y=f(∑iwixi+b)y = f\left(\sum_{i} w_i x_i + b\right)

xix_i是输入信号,wiw_i是权重(这个信号有多重要),bb是偏置(激活阈值的调整),ff是激活函数(决定是否激活)。

你认出了什么吗?

∑iwixi\sum_{i} w_i x_i——这是向量的点积。第七章的工具。

wiw_i——这是权重,可以被优化。第四章的工具。

ff——激活函数,加入非线性。让系统能够表达复杂的关系。

一个人工神经元,是线性代数加上非线性变换。


二、你已经知道的那些

你在高中学过函数的复合——把一个函数的输出,作为另一个函数的输入。

f(g(x))f(g(x))——先做g,再做f。

神经网络,就是函数复合的大规模应用:

输入经过第一层变换,输出作为第二层的输入,第二层的输出作为第三层的输入……一层一层,每层都是一个函数,整个网络是一个巨大的复合函数。

你学过矩阵乘法——第七章说过,每一层的计算本质上是矩阵乘法加上激活函数。

你学过导数和链式法则——第四章说过,反向传播是链式法则的大规模应用。

你学过概率——网络的输出层通常是一个概率分布,哪个类别的概率最高,就预测哪个类别。

你学过信息论——交叉熵损失函数,来自第六章。

你学过向量和Embedding——输入的表示,来自第七章。

你学过图——图神经网络处理图结构数据,来自第五章。

第八章是前七章的交叉口。


三、知识点全景

初中/高中阶段:

  • 函数的概念——(初中)——神经网络是一个从输入到输出的巨大函数。
  • 函数的复合——(高中)——神经网络的每一层是一个函数,多层网络是函数的复合。
  • 不等式与阈值——(高中)——激活函数的阈值思想:超过某个值才激活。
  • 向量与矩阵——(高中/大学,见第二、七章)——每一层的计算是矩阵乘法。
  • 导数与链式法则——(高中/大学,见第四章)——反向传播的数学基础。
  • 概率与分布——(高中/大学,见第三章)——输出层的概率解释。

大学阶段:

  • 感知机——(大学)——最简单的人工神经元。单层感知机只能解决线性可分问题——能用一条直线分开的分类问题。1969年,明斯基和帕珀特证明了单层感知机无法解决XOR问题,AI进入第一次寒冬。
  • 多层感知机(MLP)——(大学)——多个感知机层叠,中间加入隐藏层。隐藏层让网络能表达非线性关系,解决单层感知机无法解决的问题。
  • 激活函数——(大学)——在线性变换后加入非线性。没有激活函数,多层网络等价于单层网络(多个矩阵乘法的复合,还是一个矩阵乘法)。
    • Sigmoid:把任意数压缩到(0,1),早期常用
    • Tanh:把任意数压缩到(-1,1)
    • ReLU:负数变零,正数不变。f(x)=max⁡(0,x)f(x) = \max(0, x)。今天最常用,计算简单,梯度问题少
  • 反向传播——(大学/研究生)——链式法则从输出层向输入层反向传播梯度。1986年重新发现并推广,解决了多层网络的训练问题,神经网络第二次复兴。
  • 卷积运算——(大学/研究生)——用一个小矩阵(卷积核)在大矩阵(图像)上滑动,提取局部特征。相当于用一个"特征探测器"扫描整张图片,检测边缘、纹理、形状等局部模式。
  • 卷积神经网络(CNN)——(大学/研究生)——用卷积层提取图像特征,用池化层降维,用全连接层分类。2012年的AlexNet就是CNN。图像识别、医学影像、自动驾驶视觉感知的基础。
  • 循环神经网络(RNN)——(大学/研究生)——有"记忆"的网络,处理序列数据。每一步的输出,作为下一步的输入之一。处理语言、时间序列、音频的早期方法。但存在梯度消失问题——信息传播太多步之后,梯度变得极小,早期信息被遗忘。
  • 长短期记忆网络(LSTM)——(大学/研究生)——RNN的改进版,用"门控"机制控制信息的记忆和遗忘。让网络能够记住长距离的依赖关系。2000年代语言处理的主流工具。
  • 注意力机制——(研究生)——不是按固定顺序处理序列,而是动态地决定每一步关注哪些位置。让网络能够直接建立任意距离位置之间的关联。
  • Transformer架构——(研究生/工业)——完全基于注意力机制,去掉了循环结构。2017年提出,成为现代所有大型语言模型的骨架。
  • 预训练与微调——(研究生/工业)——先在大量数据上训练一个通用模型(预训练),再在特定任务的小数据集上调整(微调)。BERT、GPT的训练范式。
  • 规模定律(Scaling Laws)——(工业/研究生)——更多参数 + 更多数据 + 更多计算 = 可预测的性能提升。这个规律的发现,推动了大模型军备竞赛。

四、七十年的汇聚时间线

现在我们沿着时间线走一遍,看七个工具如何逐步汇聚。

1943年:第一个数学神经元

麦卡洛克和皮茨的论文。人工神经元的数学模型出现。工具:逻辑(第一章)+ 线性代数(第二章)。

1958年:感知机

弗兰克·罗森布拉特造出了第一个可学习的神经网络——感知机。它能从数据里自动调整权重。工具:线性代数 + 优化(第四章)。

1969年:第一次寒冬

明斯基和帕珀特的《感知机》一书,指出单层感知机的局限。AI资金撤退。但多层网络的想法,一直在少数研究者那里存活。

1986年:反向传播复兴

鲁梅尔哈特、辛顿、威廉姆斯的论文,展示了用反向传播训练多层神经网络的方法。工具:链式法则(第四章)。这是深度学习的真正起点。

1989年:通用近似定理

数学证明:只要有足够多的神经元,一个两层神经网络可以近似任意连续函数。这给了神经网络一个理论基础——它们在理论上能表达任何模式。

1998年:卷积神经网络

杨立昆用CNN识别手写数字,用于银行支票识别。工具:卷积运算 + 反向传播。但计算能力限制了规模,第二次寒冬开始。

2006年:深度学习的名字

辛顿提出"深度学习"的概念,展示了多层网络可以用逐层预训练的方法解决训练困难。人们重新开始关注深度网络。

2012年:AlexNet的爆发

三个条件汇聚:

  • 数据:ImageNet,1400万张标注图片
  • 算力:GPU并行计算,让大规模矩阵运算速度提升百倍
  • 算法:更深的网络,ReLU激活函数,Dropout正则化

工具:卷积(图像处理)+ 矩阵乘法 + 梯度下降 + ReLU激活 + 大数据。深度学习革命爆发。

2017年:Transformer

谷歌的"Attention Is All You Need"论文。提出完全基于注意力机制的Transformer架构,彻底取代了RNN和LSTM处理语言的地位。工具:注意力机制(向量点积)+ 位置编码 + 多头注意力 + 前馈网络。这是GPT、BERT、所有现代语言模型的骨架。

2020年:GPT-3的涌现

1750亿参数,海量训练数据,规模定律推动的大模型时代开始。工具:全部七章的所有工具,大规模集成。


五、注意力机制:用向量点积理解上下文

注意力机制,是Transformer的心脏,也是现代AI最重要的数学创新之一。

它解决了一个第七章留下的问题:同一个词,在不同上下文里意思不同,静态Embedding无法处理。

注意力机制的核心思想:

处理每个词的时候,动态地决定应该关注序列里的哪些其他词,以及关注多少。

数学实现:

每个词,被变换成三个向量:查询(Query)、键(Key)、值(Value)。

Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

让我们把这个公式拆开,每个部分都很熟悉:

QKTQK^T——查询和键的点积矩阵。

还记得向量点积衡量相似性吗(第七章)?这里就是在计算:当前词的查询向量,和序列里每个词的键向量,有多相似。相似度高,就意味着这两个词的关系更密切,应该互相关注更多。

1dk\frac{1}{\sqrt{d_k}}——缩放。

防止点积数值太大,导致softmax饱和(梯度消失)。dkd_k是向量维度。这是一个工程细节,但很重要。

softmax\text{softmax}——变成概率分布。

把所有相似度值,变成加起来等于1的概率分布。这就是"注意力权重"——对每个位置应该关注多少的概率分配。Softmax建立在概率和指数函数上(第三章)。

乘以VV——加权求和。

用注意力权重,对所有位置的值向量做加权平均。关注多的位置,贡献更多;关注少的位置,贡献更少。结果是一个融合了上下文信息的新向量。

整个过程在做什么?

对于"苹果公司发布了新手机"里的"苹果",注意力机制会发现它和"公司"、"发布"、"手机"的相关性更高,和"吃"、"好吃"的相关性更低。然后把这个上下文信息,融合进"苹果"的向量表示里。

结果:"苹果"在这个句子里的向量,被上下文动态调整成了"科技公司"的含义,而不是"水果"的含义。

这就是"理解上下文"的数学实现。


六、前七章工具的汇聚图

让我们明确画出这张汇聚图:

第一章 逻辑 ↓→ 计算机的逻辑门和条件判断→ 符号AI,知识图谱(与神经网络并行)→ 可解释AI的探索方向

第二章 矩阵 ↓→ 神经网络每一层的核心计算(矩阵乘法)→ 注意力机制里的QKTQK^T计算→ 卷积运算(局部矩阵乘法)

第三章 概率 ↓→ 输出层的Softmax,变成概率分布→ Dropout正则化(随机丢弃神经元)→ 贝叶斯深度学习,不确定性估计

第四章 优化 ↓→ 反向传播 + 梯度下降,训练所有参数→ Adam、RMSprop等优化器→ 学习率调度

第五章 图论 ↓→ 图神经网络(处理分子、社交网络等图结构数据)→ 知识图谱 + 语言模型的结合→ Transformer可以看作在全连接图上做注意力

第六章 信息论 ↓→ 交叉熵损失函数(训练分类模型的标准损失)→ 困惑度(评估语言模型的指标)→ 互信息(特征选择,信息瓶颈理论)

第七章 线性代数的深处 ↓→ Embedding层(输入的向量表示)→ 注意力机制(向量点积衡量相似性)→ SVD思想在推荐系统和表示学习里

第八章 ↑

这七条线,在这里交汇,产生了现代AI。


七、规模定律:为什么大就是不同

2020年,OpenAI的研究者发现了一个规律:

神经网络的性能,随着参数量、数据量、计算量的增加,以可预测的幂律关系提升。

Loss∝N−α\text{Loss} \propto N^{-\alpha}

N是参数量,α\alpha是一个接近0.07的常数(对于语言模型)。

这意味着:把参数量增加10倍,损失下降约16%。把参数量增加1000倍,损失下降约40%。

这个规律的惊人之处:

性能的提升不只是量变,还会产生质变。

当模型规模跨越某个阈值,会突然出现之前完全没有的能力。这叫涌现能力——就像水温升到100度时突然沸腾,不是线性的变化,而是相变。

GPT-3出现了GPT-2没有的推理能力。GPT-4出现了GPT-3没有的复杂任务处理能力。

这些能力,没有被明确训练过。它们从规模里涌现出来。

没有人完全理解为什么会这样。这是深度学习里最神秘也最重要的现象之一。


八、神经网络今天在哪里

图像识别与计算机视觉: 手机解锁人脸识别,医院的X光CT自动分析,自动驾驶的环境感知,工厂的质量检测——所有这些,背后是CNN或Vision Transformer。错误率已经在多个任务上低于人类。

自然语言处理: GPT系列、Claude、Gemini——语言模型改变了人类和信息交互的方式。翻译、摘要、代码生成、问答——这些任务,今天的语言模型表现已经接近或超过人类水平。

蛋白质结构预测: AlphaFold2用深度学习,预测了几乎所有已知蛋白质的三维结构。这个问题困扰生物学家五十年,AlphaFold在两年内解决。影响医药、农业、材料科学。

游戏与决策: AlphaGo和AlphaZero,在围棋、国际象棋、星际争霸上超过了人类最顶尖的选手。它们用的是强化学习——一种把优化(第四章)和神经网络结合的框架,让AI通过和自己对弈,自动学习最优策略。

生成模型: DALL-E、Stable Diffusion生成图像,Sora生成视频,MusicLM生成音乐——生成式AI,让机器从描述中创造内容。背后是扩散模型、GAN等生成神经网络架构。

科学发现: 气候模型、粒子物理数据分析、天文图像处理、新材料设计——深度学习正在加速每一个科学领域的研究速度。


九、但是——一个问题被留下

2012年AlexNet赢得比赛,研究者去看这个网络在"看"什么。

他们发现,网络学会了识别边缘、纹理、形状。这些是有意义的特征,和人类的视觉感知有一定对应。

但随着网络变得更深、更大,这种可解释性就消失了。

一个有1750亿参数的语言模型,它为什么给出这个答案,而不是那个答案?

没有人能完整回答这个问题。

不是因为没有人在研究,而是因为这套数学架构,在设计之初,就没有为"为什么"留下接口。

第四章里种下的那粒种子,在这里开始显现:

梯度下降,沿着损失函数的最小值方向,把1750亿个参数推到了某个位置。这个位置,在输入空间里,产生了令人惊叹的输出。

但那1750亿个参数各自代表什么,它们如何协作产生那个输出,沿着什么逻辑做出那个判断——这些问题,在这套数学架构里,没有可以被人类读懂的答案。

这是深度学习最强大的地方,也是它最深的盲点,写在地基里。


小结:你学过的,在这里

你学过的 学习阶段 它在神经网络里是什么
函数的概念 初中 神经网络是一个从输入到输出的复合函数
函数的复合 高中 多层网络是函数的多层复合
向量与矩阵(第二章) 高中/大学 每一层的核心计算是矩阵乘法
链式法则(第四章) 高中/大学 反向传播的数学基础
梯度下降(第四章) 大学 训练所有参数的核心算法
概率与Softmax(第三章) 高中/大学 输出层的概率分布
交叉熵(第六章) 大学/研究生 训练分类模型的标准损失函数
向量点积(第七章) 高中/大学 注意力机制的相似度计算
Embedding(第七章) 研究生/工业 输入层的词向量表示
感知机 大学 最简单的神经网络单元
卷积运算 大学/研究生 图像识别的核心操作
注意力机制 研究生 Transformer的心脏,理解上下文的方法
规模定律 工业/研究生 更大的模型,涌现更强的能力

七十年,七个工具,一次汇聚。

从1943年的第一个数学神经元,到2023年的GPT-4,这条路上的每一步,都是某个真实问题逼出的解决方案,都使用了你学过的某个数学工具。

但在这七十年里,有一个选择,悄悄地被做出了。

那个选择,决定了神经网络为什么如此强大,也决定了为什么它无法解释自己。

在AI历史的另一条路上,有人坚持了不同的方向。

那条路,从第一章的逻辑出发,没有放弃可解释性。

它没有赢得2012年的比赛。但它从来没有消失。

而今天,这两条路正在重新相遇。

这是第九章的故事。

也是这本书的最后一章。


__

第九章 两条路——那个岔路口

我们选择了什么,放弃了什么


1956年夏天,美国新罕布什尔州达特茅斯学院。

十个人聚在一起,开了一个为期两个月的研讨会。

他们给自己正在研究的领域,起了一个名字:

人工智能。

他们相信,人类智能的每一个方面,都可以被精确描述,都可以被机器模拟。

这个信念,建立在第一章的逻辑上——如果思维是符号操作,如果推理是形式规则,那么机器就能思考。

这是AI历史的起点。

也是那个岔路口的起点。

从那个夏天开始,两条路开始分叉。

一条路,坚持了逻辑和符号,坚持了可解释性,坚持了"每一步推理都可以被人类读懂"。

另一条路,选择了从数据里学习,选择了统计和连接,选择了"能力比可解释性更重要"。

七十年后,第二条路赢了。

但"赢了"不等于"对了"。

这是本章要说清楚的事情。


一、两条路是什么

在我们深入之前,先把两条路说清楚。

第一条路:符号主义

核心信念:智能的本质是符号操作,是逻辑推理,是可以被明确表达的规则系统。

数学工具:第一章的逻辑,第五章的图论,第三章的概率推理。

代表系统:专家系统,知识图谱,定理证明器,规划系统。

最重要的特征:可解释性。 每一步推理都有明确的前提,都产生可追溯的结论,都可以被人类读懂和核实。你可以问"为什么得出这个结论",系统能给你一条完整的推理链。

第二条路:连接主义

核心信念:智能从大量简单单元的连接中涌现,不需要显式的规则,只需要足够多的参数和数据,以及一个驱动系统向特定方向学习的目标函数。

数学工具:第二章至第八章的全部工具。

代表系统:神经网络,深度学习,大语言模型。

最重要的特征:能力的涌现。 规模足够大,能力自动出现,无需人工设计规则。但你无法问"为什么"——系统没有可以被人类读懂的推理链。


二、两条路的知识谱系

在我们进入历史之前,先把这本书所有的知识点,在两条路上各归其位。

你学过的那些数学,属于哪条路?

符号主义用的数学:

你学过的 学习阶段 在符号AI里是什么
命题逻辑:与、或、非 初中 专家系统规则的基本语言
条件命题:p→q 高中 推理规则的标准形式
谓词逻辑:∀、∃ 大学 知识表示的形式语言
图的定义与操作 大学 知识图谱的数学基础
最短路径 大学 规划问题的求解工具
贝叶斯定理 大学 不确定性下的概率推理
树与生成树 大学 搜索树,决策树,推理路径

连接主义用的数学:

你学过的 学习阶段 在连接主义AI里是什么
向量与矩阵 高中/大学 神经网络每层的计算
导数与链式法则 高中/大学 反向传播
梯度下降 大学 参数训练
概率分布 大学 输出层的概率
对数与熵 高中/大学 交叉熵损失函数
SVD与Embedding 大学/研究生 输入表示层
向量点积 高中 注意力机制

你现在拥有了一张完整的地图——你学过的每一个知识点,在AI历史的哪条路上,做了什么。


三、两条路的竞争史

现在沿着时间线,看这两条路如何竞争。

1956—1974年:符号主义的黄金时代

达特茅斯会议之后,符号主义主导了AI研究。

专家系统开始出现。逻辑定理证明器证明了数学定理。自然语言处理程序开始理解简单的英语句子。

乐观情绪弥漫。有研究者预测,二十年内,机器将能完成任何人类能做的智力工作。

但那堵墙开始出现——真实世界的知识写不完,规则处理不了例外,逻辑无法处理不确定性。

1974—1980年:第一次寒冬

资金撤退。研究热情降温。

但符号主义的研究者没有放弃。他们在寒冬里,把知识工程做得更精细,把知识图谱做得更完善。

与此同时,连接主义的研究者在默默耕耘。他们知道单层感知机的局限,他们在探索多层网络的可能性。

1980—1987年:专家系统的商业繁荣

企业开始商业化部署专家系统。医疗诊断、金融分析、工业控制——符号AI迎来了商业高峰。

这也是连接主义开始复兴的时刻。1986年,反向传播算法重新被发现和推广。多层神经网络的训练,第一次变得可行。

1987—1993年:第二次寒冬

专家系统的局限暴露。维护成本高,扩展性差,无法适应知识的快速更新。

连接主义在某些任务上显示出潜力,但计算能力限制了规模,无法在大多数实际问题上超过符号方法。

两条路都面临挑战。两条路的研究者都在坚持。

1993—2012年:平静的积累

互联网产生了前所未有的数据规模。

GPU的发展,让大规模矩阵运算速度提升了百倍。

连接主义悄悄地,在数据规模和计算能力的推动下,开始在一个又一个任务上超过符号方法。

语音识别,连接主义赢了。图像识别,连接主义的优势越来越明显。

2012年:那个转折点

AlexNet。错误率从26%降到15.3%。

这一刻之后,几乎所有的AI资金、人才、注意力,开始涌向连接主义。

符号主义退居边缘。不是被证明错了,而是在能力竞争中,短期内输了。


四、那个被做出的选择

在竞争的过程中,有一个选择,被悄悄地、没有人明确宣布地做出了:

选择了能力,放弃了可解释性。

这个选择,不是某个人在某一天的决定。它是无数个小决定的累积——每次资金流向更高性能的方向,每次研究者选择发表错误率更低的论文,每次企业部署效果更好但更难解释的系统。

这些选择,各自都是合理的。追求更好的性能,本来就是科学和工程的目标。

但累积起来,这些选择把可解释性,从AI系统的核心特征,变成了一个次要的、事后追加的、很多时候根本没有实现的要求。

今天部署在全球的AI基础设施——搜索引擎、推荐系统、语言模型、自动驾驶——几乎全部建立在连接主义的数学地基上。

这个地基,在设计时,就没有为"为什么"留下接口。


五、两条路各自的真实局限

这里需要说一件公平的事:

两条路,都有真实的局限。

符号主义的局限:

知识需要人工编码,无法自动从数据里学习。这意味着规模有上限——人类的知识工程速度,跟不上真实世界的复杂性。

处理感知问题——理解图像、语音、自然语言——符号方法效果不好。因为感知本质上是从连续的、噪声的信号里提取结构,这不是逻辑规则擅长的。

在大数据时代,符号方法的优势迅速被数据驱动的方法所超越。

连接主义的局限:

不可解释。第八章说过,这是写在地基里的特征,不是可以被补丁修复的缺陷。

需要大量标注数据。没有数据,连接主义无法工作。而在很多重要领域——医疗、法律、科学——高质量标注数据稀缺且昂贵。

对分布外数据的泛化能力弱。在训练数据的分布之外,系统的行为可能变得不可预测。

推理能力有限制。对于需要多步逻辑推理的问题,连接主义系统的表现不如人类,而符号系统在这类问题上天然更强。


六、两条路正在重新相遇

2024年,一件有趣的事情正在发生。

在AI研究的前沿,越来越多的工作,在尝试融合两条路。

这个方向,叫神经符号融合。

核心思想:用连接主义处理感知——理解图像、语言、信号,把混乱的现实映射成结构化的表示;用符号方法处理推理——在结构化的表示上,做可解释的、可追溯的逻辑推理。

感知是连接主义的强项。推理是符号主义的强项。融合,是两条路各取所长。

这不是新想法。研究者在1980年代就提出了类似的设想。

但今天,有了更强大的连接主义系统作为感知基础,融合变得更有可能,也更有意义。

这是另一条路开始重新被走的时刻。

不是要推翻连接主义的成就。而是要在连接主义能力的基础上,重新找回符号主义的可解释性。

你学过的第一章的逻辑,和你学过的第二至八章的所有工具,都会在这个融合里找到各自的位置。


七、你的认知地图,完整了

走到这里,九章走完了。

让我们把整张地图,最后看一遍。

你在小学学的:

  • 数字和基本运算——所有数学的起点
  • 可能性的直觉——概率的起点
  • 点和线——图论的起点

你在初中学的:

  • 命题和逻辑连接词——专家系统的语言
  • 坐标系——把任何东西变成数学的基础
  • 方程和方程组——矩阵的起点
  • 频率和古典概型——概率论的起点
  • 集合与关系——图论的形式化基础

你在高中学的:

  • 条件命题p→q——所有编程语言的if-else
  • 向量:大小和方向——神经网络输入的基本形式
  • 向量点积——注意力机制的核心计算
  • 导数:变化的速率——梯度下降的基础
  • 链式法则——反向传播的数学心脏
  • 概率:条件概率和贝叶斯定理——垃圾邮件过滤到语言模型
  • 对数及其性质——熵和信息量的计算基础

你在大学学的:

  • 矩阵乘法——神经网络每层的核心运算
  • 特征值与特征向量——PageRank,搜索帝国的地基
  • 梯度下降——所有AI训练的引擎
  • 图的定义和算法——知识图谱,社交网络,GPS导航
  • 香农熵——压缩的理论极限
  • 交叉熵——深度学习最常用的损失函数
  • SVD奇异值分解——降维,推荐系统,Embedding的基础
  • 感知机和神经网络——连接主义的数学实现
  • 注意力机制——Transformer的心脏

这些,你都学过。

你当时不知道它们在这里。

现在你知道了。


八、一张地图,两种用法

这张地图,有两种用法。

第一种用法:往回看。

你曾经学过这些东西。也许觉得有些枯燥,有些难懂,有些和现实脱节。

现在你可以往回看,重新理解它们。

不是为了重新做题,而是为了看见它们的位置——在人类文明的地基里,在每天使用的产品背后,在这个被算法深度渗透的世界里。

你学过的不是考试内容。你学过的是现代文明的建造工具。

第二种用法:往前看。

这张地图,也是一张导航图。

未来的AI发展,会继续沿着这些数学工具的方向延伸。新的工具会出现,但它们会建立在这些地基上。

当你遇见一个新的AI产品,一个新的算法,一个新的技术声称,你现在有能力问出正确的问题:

它用的是什么数学工具?那个工具在优化什么?它的目标函数是谁定的?它的可解释性在哪里?它在第一条路上,还是第二条路上,还是在尝试融合两条路?

这些问题,是真正的AI素养。

不是会用某个工具,不是背出某些概念,而是能看见系统背后的数学结构——它在做什么,它能做什么,它无法做什么,以及它的选择意味着什么。


九、最后一件事

这本书快结束了。

但在结束之前,有一件事需要被说出来。

我们走完了九章,从逻辑走到矩阵,从概率走到优化,从图论走到信息论,从线性代数的深处走到神经网络,最后站在那个岔路口。

你现在拥有了一张地图。

但地图不是领土。

这本书描述的数学工具,是人类创造的。用它们建造的系统,是人类选择建造的。那个岔路口的选择——选择能力,放弃可解释性——是人类做的。

数学是中立的。

选择,不是。

在那个岔路口,有人做了一个选择,选择了更强大但不可审计的地基。这个选择,带来了今天AI的全部辉煌,也带来了今天AI的全部隐忧。

拥有了这张地图,你现在可以看见:这不是必然,这是选择。 历史可以不是这样的,未来也不必然是这样的。

但要做出不同的选择,首先要看见已经做出的选择。

这张地图,就是为了让你看见。


小结:两条路的完整对比

符号主义 连接主义
核心信念 智能是符号操作 智能从连接中涌现
学习方式 人工编码规则 从数据中自动学习
可解释性 每步可追溯 黑箱,无法解释
优势领域 推理、规划、逻辑 感知、语言、图像
主要数学 逻辑、图论、概率推理 矩阵、优化、信息论、线性代数
代表系统 专家系统、知识图谱 神经网络、大语言模型
今天的地位 退居边缘,但未消失 主导地位
未来方向 在神经符号融合中复兴 与符号方法融合

尾声 你现在有的东西

这本书从一句话开始:

这些东西,学来有什么用?

现在你有了答案。

不是一个模糊的答案,而是一张具体的地图。


你在小学学的数字和坐标,是把世界变成数学的第一步。

你在初中学的逻辑和方程,变成了计算机里所有的0和1,变成了数据库里所有的查询,变成了专家系统里所有的推理。

你在高中学的向量和导数,变成了神经网络的输入和训练引擎,变成了Google搜索的排序逻辑,变成了语言模型每次生成文字时运行的数学。

你在大学学的矩阵、概率、图论、信息论、线性代数,变成了搜索帝国的地基,变成了社交网络的骨架,变成了数字压缩的极限,变成了AI理解意义的坐标系。

不是数学没用。是没有人画过这张地图。

现在你有了这张地图。


但这张地图,还有另一面。

你现在看见了这些数学工具是什么,它们在做什么,它们变成了什么。

还有一个问题,这张地图的另一面在问:

这些数学工具,被谁用,为了什么,优化了什么,放弃了什么?

那个问题,是另一本书的故事。

如果你读了那本书,你会带着这张地图去读它。你会看得更清楚——因为你知道那些系统的数学地基是什么,你知道那个岔路口在哪里,你知道可解释性不是从来就不存在的,而是在某个时刻,被选择放弃的。

两本书合在一起,才是完整的认知:

第一本书告诉你,数学能做什么。

第二本书告诉你,数学在为谁做,以及我们还有没有选择。


最后一句话:

你学过造计算机。你学过造搜索帝国。你学过造推荐系统。你学过造语言模型。你学过造现代文明的地基。

这些你都会。

你只是不知道你能。

现在你知道了。


全书完。