注意力机制

我在章中提出了一个有趣且可以说是大胆的目标：

非技术性理解。 已经有许多书籍在解释人工智能的内部工作原理及其数学基础。然而，我们的目标是让非技术人员（或任何介于之间的人）能够建立起关于“注意力机制“的可行的心智模型，因为我们认为，更好地理解AI如何从请求到响应的过程，将帮助任何人更有效地与人工智能合作。我们的目标实际上是要比现代AI专家更好地理解现代AI！

本章加速推进我们实现这个大胆目标的进程。本章向你展示注意力如何在你在上一章创建的网格中流动。 我在本章使用了一个不同的网格，因为之前那个网格变得有些单调。在上一章，“地形”，也就是网格，是一堆带有书签的书籍。在本章中，“地形“更加字面化，因为我们俯视着一个有河流的森林山谷。

本章展示：

• 顺序处理与整体处理的对比
• 固定地形（网格）与动态流动（注意力）的对比
• 多重感知输入对应于注意力头
• 在同一位置采用不同视角

在图 1的中心位置，“俯瞰通往Breaks州际公园的道路，2013年4月27日“从左到右，你可以看到河流左侧的铁路，一条河流，以及河流右侧往上延伸到我拍摄位置的公路。在偏右的位置，你可以看到道路视野变宽，道路不再被树木遮挡。那里是一座无名战士纪念碑，你将在下一张照片中看到。

我通过多年来多次双向行驶这条道路而熟悉了照片中显示的区域。我对Breaks州际公园有相当清晰的记忆（即相当清晰的心智模型），但这个心智模型有一个局限性。你能看出这个局限性吗？我对Breaks区域的心智模型停留在十二年前。自从我最后一次沿着那条河开车以来，已经过去了十二多年。我的训练数据截止日期，也就是我知识终止的时间点，是2013年4月27日，这基于我最近一次在Breaks州际公园拍摄的照片的时间戳。

对于大语言模型来说，你需要始终注意的一个关键限制就是训练数据截止日期。我可以上网查看Breaks州际公园是否发生了任何变化。但仅凭我的数字照片集，我无法得知。某些大语言模型能够进行实时信息搜索，但其他模型仅限于已经摄入的训练数据，以及你在LLM对话中提供的任何信息。这些可能性都非常有用，但你需要知道你使用的是哪种类型的系统。

这种对应关系是完全相同的：

• 我的照片：2013年4月27日
• Claude 4.5的训练截止日期：2025年7月
• 在这两种情况下：都是基于固定知识库进行推理

我观察到一个相关的复杂情况。我多次让Claude审阅我写的包含当前或最近日期的内容。Claude总是建议我确认日期，并引用相关日期，因为这是未来的日期。根据我的观察，Claude似乎认为Claude的训练数据截止日期就是今天的日期。因此，当请求审阅包含最近日期的内容时，我会以“今天的日期是…“开始。

事实上，这里有一个值得一提的更深层次的见解。我记得在某处读到，我使用的桌面应用程序充当中介。它：

1. 对我的输入进行“分词“，
2. 将我的输入（以词元形式）发送给大语言模型，
3. 接收响应（以词元形式），并
4. 将响应解码回普通文本。

这个中介显然会包含额外的上下文信息，比如当天的日期，以及我的实际消息。

在接下来的案例研究之一中，我会向你展示这并非一个容易获得答案的问题。我们将发现存在着一些我看不见的中介，而Claude也不知道它们的存在。我们会把这个问题留到案例研究中再讨论。现在，我们正在进行一次公路旅行。

如果你把大语言模型当作一台机器来看待，这整个讨论和“直接问“的建议可能会显得违反直觉。但当你开始将大语言模型视为伙伴或协作者时，“直接问“的策略就变得显而易见且合理了。改变你的思维方式，一个全新的世界就会展现在眼前。

图 2，“一位在返乡途中被谋杀的无名士兵的埋葬地“展示了在前一张照片中可见的路标。主要公路从左侧经过，右侧是铺装的岔道。这个标记解释说这里埋葬着一名士兵，他可能在返回家途中被不明凶手杀害。当地居民处理了他的葬礼。照片中那棵百年老玫瑰，由木桩保护着，在我再次看到这张照片之前，早已从人们的记忆中淡去。

继续这个构建知识库的类比，通过停下来阅读信息，我获得了比简单开车经过更多的信息。这张照片捕捉到的细节，在十年后我可能已经记不清了。有了这张照片的提醒，我确实记得曾在那里停留。

感谢相机在照片中嵌入的EXIF数据，我可以通过数字图库中的其他几张照片来追踪行进方向。EXIF数据（时间戳和精确的GPS位置）提供了另一层超出图像本身可见内容的信息。

我拍这些照片只是作为旅游纪念。但当这些嵌入的元数据在多张照片间结合时，就创建了地理信息。如果我是一名制图师，我可以通过组合这两个层面来绘制带地形素描的地图。我在这里使用“层面“这个词，指的是视觉图像作为一个层面，GPS数据作为另一个层面，因为这是大语言模型使用的术语。大语言模型有着类似的信息层概念，我们将在本章探讨这一点。

现在从一个完全不同的角度来看同样的信息。图 3，“州界观景台地图和描述“展示了观景台本身的地图，站在我拍摄地形照片的同一位置，但现在看的是制图师如何组织同样的信息。观景台本身（“你在这里”）位于地图底部略偏右的位置。地图显示了铁路、河流和公路，无名士兵的墓地位置标注在地图中间略偏右的位置。

这个旅行类比的要点是：我们刚刚经历了通向同一信息的两条路线。

• 路线1：顺序式（公路）：我通过实际穿越地形获得信息，一次注意到一个细节：每一个弯道、纪念碑、墓地旁的玫瑰丛被修剪（从照片上我无法分辨是自然形成还是修剪的）成长方形，像一块墓碑。我喜欢树木，注意到许多独立的树。我知道要留意随着海拔变化而变化的树种。在上一章的研究中，我们看到了同样的过程：一本接一本地建立联系，就像沿着公路开到观景台，同时欣赏沿途的地面景观。
• 路线2：整体式（地图）：制图师汇编同样的信息，但以空间方式组织，一次性展示所有关系。从观景台，我可以同时看到森林、铁路、河流、公路，以及它们之间的关系。正如我们将会看到的，“同时看到它们之间的关系“这个概念是大语言模型中的一个关键概念。这个概念就是大语言模型所说的“网格”。

在2025年8月5日之前，我把网格理解为那种静态的雕刻地图。我知道大语言模型有“数百万个加权连接“，但我认为它们是固定不变的。那张日落照片（下文会解释）让我看到了我所忽略的：地形是固定的，但流经其中的东西却在不断变化。火车驶近，车流移动，水流奔涌，注意力转移。这就是注意力机制：通过固定结构的动态流动。

8月5日，我突然意识到这就是我创建心智模型（一次一个连接）和大语言模型处理信息（作为网格，同时考虑所有内容）的根本区别。我突然明白了。

这种突如其来的顿悟让我大吃一惊：随着视角的突然转变，我的思维方式与AI的“思维“方式相吻合了。

Breaks州际公园的网站上有一张照片（截至2025年10月），拍摄于同一个州界观景台。这是同一个位置，不同的角度，透过雕刻的标志望向远处壮丽的日落。（网站禁止在此复制该照片，这实际上有助于我的描述，因为你需要自己去想象它。）

在8月5日之前，木制标志上的雕刻地图代表了我对大语言模型工作方式的心智模型。我知道我的理解是不充分的，所以我开始与Claude对话，目的是更好地理解大语言模型的注意力机制。除了试图提高自己的理解之外，我并不是要解决任何特定的问题。这是一次有特定目标的持续和有引导的对话，就像你现在所期待的那样。

继续用州界观景台的比喻，雕刻地图是固定的。它一次性展示了所有关系：铁路在左边，河流在中间，公路在右边，地形保持不变。当我说“大语言模型作为网格处理信息，同时考虑所有内容“时，我脑海中想的就是那张静态地图。

但日落照片展示了不同的东西。这是同一个观景台，但在不断变化。阳光变化。车流涌动。多节机车把火车拉上山并穿过峡谷，与火车轮子绕过河道弯道时发出的尖锐啸声截然不同；在火车从观景台可见之前很久，耳朵就能告诉我火车正在驶来。水流冲过急流，绕过河道弯道。地形是固定的，但流经其中的东西却在不断变化。

这就是让我大吃一惊的启示。网格，这个拥有数百万加权连接的训练模型，就像地形。它是固定的。（Claude把训练模型描述为“数百万加权连接“，但我们还没有讨论这个短语的含义。可以把它想象成你从观景台看到的地形。）网格是固定的，但注意力会动态地流经这个网格，根据上下文激活不同的路径。

这种“注意力流“就像我的耳朵在火车轮子已经在弯道处发出尖叫声时，注意到approaching沉重的低音机车噪声。我的过去经验告诉我，除了我已经看到的牵引火车绕过弯道的领头机车外，在火车中间，或者更可能是在火车尾部，还有另一个机车，它帮助推动火车穿过Breaks隘口，并在火车继续沿河向下驶过州界观景台时仍然是火车的一部分。

同样，公路上的移动可能会把我的视线（和注意力）吸引到右边。我可以看到奔涌的水流，也可能注意到冲过急流的皮划艇手，尽管我离河流太远，听不到声音。这样，我的注意力在固定的景观中不断转移，不同的刺激触发不同的关注点。

大语言模型的注意力机制也是如此工作的。不同的注意力“流“从不同的角度同时检查输入。大语言模型把这些称为“注意力头“。打个比方，我的视觉和听觉以不同的方式同时处理相同的信息。我在上一章中放在书中的书签就像注意力头。每个书签都标示着一个可能感兴趣的点。当我在寻找特定主题时（比如第一批B-25飞机采用自然金属涂装的年份），我知道该查看哪些书签。（答案在我查看的第二本书中，并且用书签做了标记。）

在大语言模型的注意力机制中，每个注意力头都会注意到不同的关系。然后它们把结果组合起来，就像我自己在观景台上把所见、所闻和所感结合起来一样。这种感知很可能会受到我当时态度的影响。（进入树木繁多的山区后，我当时的心情几乎肯定是很好的。）

为什么人们会觉得注意力机制令人生畏？因为他们看到数学公式就认为需要理解实现细节。但你不需要理解流体动力学也能欣赏河流的流动。（另一方面，在激流中漂流确实能让你更深入地理解流体动力学。Russell Fork Whitewater区域根据水流情况被评为III-IV级。部分区域被评为IV-V级，曾造成过人员伤亡。）同样地，我不需要懂得神经科学也能注意到火车鸣笛声转移了我的注意力。

对于使用LLM来说也是如此。理解注意力如何在固定结构中动态流动才是关键洞见。 数学只是实现方式，而非概念本身。欣赏Stateline观景台时，当你观察倾听，景色在不断变化：这就是相同的概念，相同的本质洞见。

从对注意力机制工作原理的基本理解出发，我开始意识到这种洞见（固定地形与动态流动）其实一点也不新颖。计算机领域的先驱Jay W. Forrester博士在五十年前比较人类和计算机在模拟复杂系统方面的优势时，就描述了本质上相同的区别。

1973年，他在《世界动力学》一书中解释道：

随着全球压力的增加，许多个人和组织开始研究并试图影响世界形势的变化。但可以公平地说，大多数活动都只针对世界系统的个别方面。很少有人致力于展示各种行动和力量是如何相互影响，最终产生我们现在所观察到的总体后果。然而现在，许多人开始相信，整体之间的相互作用比单独部分的总和更为重要。

到那时，Forrester已经花了15-20年时间设计包括世界社会和整个地球生态系统在内的大型系统的计算机模型。作为数字计算的主要发明者和开发者之一，Forrester就社会系统的心智模型与计算机模型之间的对比提供了引人深思的见解。

他50多年前写下的内容在今天依然具有启发性。不要因为他谈论的是“社会系统“而不是现代的人工智能协作就被劝退。他所说的“社会系统“指的是整个地球及其所有相互冲突的互动。他所说的“系统“的规模超出了我的理解范围。

Forrester称“心智模型“是一个熟悉的概念。¹

每个人都在不断使用模型。每个人在其私人生活和社区生活中都使用模型来做决策。每个人头脑中对周围世界的心理图像就是一个模型。没有人能在头脑中装下一个完整的家庭、企业、城市、政府或国家。他只能使用选定的概念和关系来代表真实的系统。心理图像就是一个模型。我们所有的决定都是基于模型做出的。我们所有的法律都是基于模型制定的。所有的行政行为都是基于模型采取的。问题不在于是否使用模型，而在于在不同模型之间做出选择。

此外，模型会在对话过程中转变。

随着主题的转换，模型也随之改变。即使在讨论同一个主题时，对话中的每个参与者都在使用不同的心智模型来解释这个主题。基本假设存在差异却从未被公开。目标各不相同且未被明确表述。难怪达成妥协需要这么长时间。而共识导致意想不到的结果也就不足为奇了。

Forrester有意描述的是每个人都熟悉的概念。虽然“心智模型“这个术语在今天的日常对话中并不常用，但我们都理解这种心理图像。

现在我们来看看为什么我要如此详细地引用Forrester的话。五十年前，他比较了人类心智模型与计算机模型的优势。他的观点同样适用于今天人类与现代人工智能的比较。

人类思维在观察系统所包含的基本力量和行为方面表现出色。人类思维能够有效地识别复杂情况的结构。但是，人类的经验并不能很好地训练思维去估计系统各个部分之间相互作用的动态后果。

直到最近，除了通过思考、讨论、争论和猜测之外，还没有其他方法可以估计社会系统的行为。

在可能的情况下，我个人会尽量发挥自己的优势。这意味着我首先需要确定这些优势可能是什么。Forrester也在建议同样的事情，即识别人类的优势，识别计算机的优势，并相应地将它们结合起来。

人类最能感知压力、恐惧、目标、习惯、偏见、延迟、对变革的抵制、奉献、善意、贪婪以及其他控制我们社会系统各个方面的人类特征。目前似乎只有人类思维能够构建一个框架，将零散的信息拼接在一起。但是当系统的各个部分被组装起来后，人类思维几乎无法预测系统所暗示的动态行为。这正是计算机的理想之处。它将毫无疑问或错误地追踪任何指定关系集的相互作用。

回想一下我们在Stateline观景台看到、感受到和听到的层次和动态行为。Forrester在50年前就解释说，动态行为对人类来说很难理解和预测。Forrester的社会系统似乎与大语言模型的层次、流动和注意力头有很好的类比。

如果你能想象国家之间如何相互作用（这是很复杂的），你可能就能理解机制如何在大语言模型转换器中同时向多个方向流动。

理解驱动大语言模型行为的注意力机制为有效协作提供了关键洞见。通过将Claude视为一个具有内部流动、电流和表征的动态系统，而不是静态工具，你可以更有效地与其自然倾向合作。Forrester博士几十年前发现的人类心智模型和计算机模型之间的平行关系，在今天的人机协作中同样适用。人类擅长识别模式和结构，而人工智能则擅长处理复杂的互连关系并产生涌现的响应。

最重要的是，理解注意力机制的实际工作方式（作为通过固定地形的动态流动）改变了你与人工智能协作的方式。你不再试图“编程“它，而是开始与其自然的连接和涌现模式一起工作。

注意力机制的动态、互连特性解释了为什么乒乓效应会起作用。这不仅仅是关于信息交换，而是关于创造条件，使新模式能够从人类直觉和大语言模型的分布式表示之间的互动中涌现。 通过发展对这些系统如何运作的心智模型，你不仅能在日常协作中获得实践优势，还能对协作智能的本质有更深入的理解。

在下一章中，我们将从理论转向实践，通过检验一个实际对话来演示这些概念的运用。通过跨越几个章节的一系列案例研究，你将看到系统思维、注意力机制和乒乓效应如何结合产生突破性的洞见。你将亲眼目睹人类和人工智能之间的边界如何成为发现原本可能隐藏的模式的沃土。

1. 下面四组问题是否可以类比为注意力头，它们都处理相同的输入源但从不同角度处理？
2. 章，“不同的观察方式“介绍了转换视角的概念，有时甚至同时考虑多个视角。这一事实看起来非常类似于注意力头独立关注输入的不同方面，然后将结果组合起来。我们是在学习更像人工智能那样思考，还是人工智能在学习更像我们那样思考，或者可能两者都有？

注意下面发生的情况。我正在通过四个不同的视角（心智模型、实际应用、系统思维、实验）来呈现相同的章节内容。每个“注意力头“都从不同的角度审视这一章节。这就是注意力机制的工作方式。

1. 建立对人工智能内部过程的心智模型可能如何改变你的协作方式？你当前的心智模型中哪些方面可能需要调整？
2. 考虑Forrester博士对人类和计算机在建模系统方面的优势的比较。在解决复杂问题时，你的优势如何补充人工智能的优势？
3. 哪些类比帮助你可视化人工智能过程？根据本章所学，你如何改进这些类比？

1. 将注意力头理解为“同时存在的多重视角“，这种理解方式可能会如何改变你构建提示词的方式？

1. 将人工智能协作视为两个动态系统之间的边界现象，这种观点如何改变了你对乒乓效应的理解？
2. 思考福里斯特博士的观点：“系统内部的相互作用比各个部分的总和更为重要。“这一观点如何应用于人工智能协作？

1. 尝试在你的提示词中使用不同层次的复杂度。大语言模型的响应会有什么变化？