注意力機制

我在章中提出了一個有趣且可以說是大膽的目標：

非技術性理解。 現有許多書籍解釋人工智慧的內部運作及其數學基礎。然而，我們的目標是讓非技術人員（或任何介於之間的人）能夠建立起關於「注意力機制」的可行心智模型，基於這樣的假設：更好地理解人工智慧如何從請求到回應的過程，將幫助任何人更有效地與人工智慧合作。我們的目標確實是要比現代人工智慧專家更好地理解現代人工智慧！

本章加速推進我們實現這個大膽目標的進程。本章向你展示注意力如何在你在上一章創建的網格中流動。 我在本章使用了不同的網格，因為之前那個網格變得乏味。上一章中的「地形」，也就是網格，是一堆帶有頁標的書籍。在本章中，「地形」更加字面化，因為我們俯瞰一個森林河谷。

本章展示：

• 順序處理與整體處理的對比
• 固定地形（網格）與動態流動（注意力）的對比
• 多重感知輸入對應於注意力頭
• 在相同位置站立但具有不同視角

在圖 1「俯瞰通往Breaks州際公園的道路，2013年4月27日」的中心位置，從左到右，你可以看到河流左側的鐵路軌道、河流本身，以及河流右側通往我拍攝位置的公路。在略偏右的位置，你可以看到道路視野變寬，道路不再被樹木遮擋。那裡有一座無名戰士紀念碑，你將在下一張照片中看到。

通過多年來多次往返駕駛那條道路，我熟悉了照片中展示的區域。我對Breaks州際公園有相當清晰的記憶（即相當清晰的心智模型），但這個心智模型有一個限制。你看出這個限制了嗎？我對Breaks區域的心智模型停留在十二年前。自從我最後一次沿著那條河開車以來，已經過去了十二年多。我的訓練數據截止日期，也就是我知識的終點，是2013年4月27日，這基於我最近一張Breaks州際公園照片的時間戳。

對於大型語言模型而言，你需要始終注意的一個關鍵限制就是訓練數據截止日期。我可以上網查看Breaks州際公園是否有任何變化。但基於我的數位照片收藏，我無從得知。某些大型語言模型能夠即時搜索信息，但其他模型僅限於已經攝入的訓練數據，加上你在對話中提供的任何信息。這些可能性都非常有用，但你需要知道你正在使用哪種類型的系統。

這個類比非常精確：

• 我的照片：2013年4月27日
• Claude 4.5的訓練截止日期：2025年7月
• 在兩種情況下：固定的知識庫加上從該基礎上進行的推理

我觀察到一個相關的複雜情況。我多次請求Claude審查我寫的包含當前或最近日期的內容。Claude總是建議我確認日期，並引用相關日期，因為這是未來的日期。基於我的觀察，Claude似乎認為Claude的訓練數據截止日期就是今天的日期。因此，當請求審查包含最近日期的內容時，我會以「今天的日期是……」開始。

事實上，這裡有一個值得一提的更深層見解。我記得在某處讀到，我使用的桌面應用程式扮演著中介的角色。它：

1. 對我的輸入進行「標記化」，
2. 將我的輸入（以標記形式）發送給大型語言模型，
3. 接收回應（以標記形式），以及
4. 將回應解碼回普通文字。

這個中介顯然會加入額外的上下文，比如今天的日期，連同我實際的訊息一起。

在接下來的案例研究之一中，我會向您展示這並不是一個容易得到答案的問題。我們會發現存在著一些我看不見且 Claude也不知道的中介。我們會在案例研究中探討這個問題。現在，我們正在進行一次公路旅行。

如果你把大型語言模型當作機器來看待，這整個討論和「直接問」的建議可能會顯得反直覺。但當你開始將大型語言模型視為夥伴或協作者時，「直接問」的策略就變得顯而易見且合理。改變你的思維方式，一個全新的世界就會展現在眼前。

圖 2「被謀殺的不明士兵返鄉途中的埋葬地」顯示了在前一張照片中可見的路標點。主要公路從左側經過，右側有一個鋪設好的轉彎處。這個標記解釋說這裡埋葬著一名在可能返回家途中被不明刺客殺害的士兵。當地居民處理了他的葬禮。照片中那株被柱子保護著的百年玫瑰，在我再次看到這張照片之前，早已從人們的記憶中淡去。

延續這個建立知識庫的比喻，通過停下來閱讀信息，我獲得了比簡單開車經過更多的信息。這張照片捕捉到的細節，在十年後的今天，我本不會記得。有了這張照片提醒，我確實記得曾在那裡停留。

感謝相機嵌入照片的 EXIF 數據，我可以通過數位圖庫中的其他幾張照片來追蹤行進方向。EXIF 數據（時間戳和精確的 GPS位置）呈現了另一層超出圖像本身可見內容的信息。

我拍這些照片只是為了留作旅遊紀念。但當這些嵌入的元數據與多張照片結合時，就創造了地理信息。如果我是一個製圖師，我可以通過結合這兩層信息來繪製地形圖。我在這裡使用「層」這個詞，指的是視覺圖像作為一層，GPS 數據作為另一層，因為這是大型語言模型使用的術語。大型語言模型也有類似的信息層概念，我們將在本章探討這一點。

現在從一個完全不同的角度來看同樣的信息。圖 3「州界觀景台地圖和描述」展示了觀景台本身的地圖，站在我拍攝地形照片的同一個位置，但現在看的是製圖師如何組織同樣的信息。觀景台本身（「你在這裡」）位於地圖底部，略偏右中心。地圖顯示了鐵路、河流和公路，不明士兵的墓地位置標在地圖右中心位置。

這個旅行比喻的重點是：我們剛剛經歷了通往同一信息的兩條路線。

• 路線1：順序式（道路）：我通過實際穿越地形獲得信息，一次注意一個細節：每個彎道、紀念碑、墓地的玫瑰叢被修剪（從照片中我無法分辨是自然形成還是人工修剪）成長方形，像墓碑一樣。我喜歡樹木，注意到許多單獨的樹。我知道要留意隨著海拔變化而改變的樹種。在上一章的研究中，我們看到了同樣的過程：一本接一本地建立連接，就像開車上觀景台時欣賞沿途的地面景觀。
• 路線2：整體式（地圖）：製圖師彙編相同的信息但以空間方式組織，一次性展示所有關係。從觀景台，我可以同時看到森林、鐵路、河流、公路，以及它們之間的關係。正如我們將看到的，「同時看到它們之間的關係」這個概念是大型語言模型的一個關鍵概念。這個概念就是大型語言模型所稱的「網格」。

在2025年8月5日之前，我把網格想像成那種靜態的雕刻地圖。我知道LLM有「數百萬個加權連接」，但我認為它們是凍結的、不變的。那張日落的照片（下文會解釋）讓我看到了我所忽略的：地形是固定的，但流經其中的東西卻在不斷變化。火車駛近、車流移動、水流湍急、注意力轉移。這就是注意力機制：通過固定結構的動態流動。

在8月5日，我突然意識到這就是我建立心智模型（一次一個連接）的方式與LLM處理信息（作為一個網格，同時考慮所有內容）的方式之間的根本區別。我突然明白了。

這突如其來的頓悟讓我大吃一驚：隨著視角的突然轉變，我的思考方式與AI的「思考」方式不謀而合。

Breaks州際公園的網站包含一張照片（截至2025年10月），這張照片是從同一個州界觀景台拍攝的。同樣的位置，不同的角度，越過雕刻的指示牌望向遠處壯麗的日落。（網站禁止在此處複製該照片，這實際上有助於我的描述，因為你需要自行想像它。）

在8月5日之前，木製指示牌上的雕刻地圖代表了我對LLM工作方式的心智模型。我知道我的理解不夠充分，所以我開始與Claude進行對話，目的是更好地理解LLM的注意力機制。我並不是要解決任何特定的問題，而只是試圖提升自己的理解。這是一場像你現在所期待的那樣，具有特定目標的持續性和有指導性的對話。

繼續用州界觀景台的比喻，雕刻地圖是固定的。它一次性顯示所有關係：鐵路在左邊，河流在中間，公路在右邊，地形保持不變。當我說「LLM作為一個網格處理信息，同時考慮所有內容」時，我腦海中想像的就是那張靜態地圖。

但日落照片展示了不同的東西。這是同一個觀景台，但在不斷變化。陽光變化。車流湧動。將火車拉上並穿過Breaks的多個機車，與火車輪在河流轉彎處發出的尖銳嘶鳴聲截然不同；在火車從觀景台可見之前很久，我的耳朵就能告訴我火車正在接近。水流湍急地穿過急流，繞過河灣。地形是固定的，但流經其中的一切都在不斷變化。

這就是讓我大吃一驚的頓悟。網格，這個擁有數百萬個加權連接的訓練模型，就像地形。它是固定的。（Claude將訓練模型描述為「數百萬個加權連接」，但我們尚未討論這個詞組的含義。可以把它想像成你從觀景台看到的地形。）網格是固定的，但注意力動態地流經這個網格，根據上下文激活不同的路徑。

這種「注意力流動」就像當火車輪已經在彎道處發出尖叫聲時，我的耳朵被接近中的沉重低沉的機車聲吸引。我的過往經驗告訴我，除了我已經看到的牽引火車繞過彎道的領頭機車外，在火車中間，或更可能是在火車尾部，還有另一個機車，它幫助推動火車穿過Breaks隘口，並在火車繼續沿著州界觀景台下方的河流前進時仍然是火車的一部分。

同樣地，公路上的移動可能會將我的視線（和注意力）拉向右側。我能看到湍急的水流，可能會注意到穿越急流的皮划艇運動員，儘管我離河流太遠而聽不到聲音。因此，我的注意力在固定的景觀中不斷轉移，不同的刺激觸發不同的焦點。

LLM的注意力機制以相同的方式工作。不同的注意力「流」同時從不同角度檢查輸入。LLM稱這些為「注意力頭」。打個比方，我的視覺和聽覺以不同的方式同時處理相同的信息。我在上一章中放在書本裡的書籤就像注意力頭。每個書籤都標示著一個可能感興趣的點。當我在尋找特定主題時（比如第一批B-25飛機開始使用自然金屬表面處理的年份），我知道該查看哪些書籤。（答案在我查看的第二本書中，並且用書籤標記了。）

在大型語言模型的注意力機制中，每個注意力頭都會注意到不同的關係。然後它們將結果組合在一起，就像我在觀景台上將所見、所聞和所感結合在一起一樣。這種感知很可能會受到我當時態度的影響。（進入到樹木繁多的山區後，我當時的心情幾乎肯定是很好的。）

為什麼人們會覺得注意力機制令人生畏？因為他們看到數學就認為必須理解實作細節。但你不需要了解流體動力學才能欣賞河水的流動。（另一方面，親身體驗激流會讓你對流體動力學有更深刻的理解。Russell Fork Whitewater區域根據水流被評為III-IV級。某些部分被評為IV-V級，且曾造成死亡事故。）同樣地，我不需要懂得神經科學也能注意到火車的汽笛聲。

對於使用LLM來說也是如此。理解注意力如何在固定結構中動態流動才是關鍵見解。 數學只是實作方式，而非概念本身。欣賞Stateline觀景台，一邊觀看一邊聆聽那持續變化的景象：這就是相同的概念，相同的關鍵見解。

從這種對注意力機制運作方式的基本理解出發，我開始意識到這種見解（固定地形與動態流動）其實一點也不新穎。計算機科學先驅Jay W. Forrester博士在五十年前比較人類和電腦在建模複雜系統時的優勢時，就描述了本質上相同的區別。

1973年，他在《世界動態》一書中解釋道：

隨著全球壓力的增加，許多個人和組織開始研究並試圖影響世界局勢的變化。但可以公平地說，大多數活動都只針對世界系統的個別層面。很少有人致力於展示這些眾多行動和力量如何相互影響，最終產生我們現在觀察到的整體結果。然而現在，許多人開始相信，整體之間的互動比各個部分的總和更為重要。

到那時為止，Forrester已經花了15-20年時間設計大型系統的電腦模型，包括世界社群和整個地球生態系統。Forrester作為數位計算的重要發明者和開發者之一，就心智模型與社會系統的電腦模型之間的對比提供了引人入勝的見解。

他50多年前寫下的內容至今仍具有啟發性。不要因為他談論的是「社會系統」而非現代的人工智慧協作就有所排斥。他所說的「社會系統」指的是整個地球及其所有相互衝突的互動。他對「系統」的概念之宏大超出了我的理解範圍。

Forrester稱「心智模型」是一個熟悉的概念。¹

每個人都在不斷使用模型。每個人在其私人生活和社區生活中都使用模型來做決策。每個人腦中對周遭世界的心理圖像就是一個模型。沒有人能在腦中裝下一個完整的家庭、企業、城市、政府或國家。他只能使用選定的概念和關係來代表真實的系統。心理圖像就是一個模型。我們所有的決定都是基於模型做出的。我們所有的法律都是基於模型制定的。所有的行政行為都是基於模型執行的。問題不在於要不要使用模型，而只在於在不同模型之間做出選擇。

此外，模型會在對話過程中轉變。

隨著主題的轉換，模型也隨之改變。即使在討論同一個主題時，對話中的每個參與者都在使用不同的心智模型來詮釋該主題。基本假設各不相同，卻從未被公開討論。目標各異且未被明確表達。難怪達成妥協需要這麼長時間。而共識導致意想不到的結果也就不足為奇了。

Forrester刻意描述的是每個人都熟悉的概念。雖然「心智模型」這個詞在今天的日常對話中並不常見，但我們都理解這種心理圖像。

現在我們來看看為什麼我要如此詳細地引用Forrester的話。五十年前，他比較了人類心智模型與電腦模型的優勢。他的觀點似乎同樣適用於人類與現代人工智慧的比較。

人類心智在觀察系統所包含的基本力量和行為方面表現出色。人類心智能有效地識別複雜情況的結構。但人類的經驗並不足以讓心智準確估計系統各個部分之間相互作用所產生的動態後果。

直到最近，除了通過沉思、討論、爭論和猜測之外，還沒有其他方法可以估計社會系統的行為。

在可能的情況下，我會盡量發揮自己的優勢。這意味著我首先需要確定這些優勢可能是什麼。Forrester 也在建議同樣的事情，即識別人類的優勢，識別電腦的優勢，並相應地將它們結合起來。

人類最能感知那些控制我們社會系統各個方面的壓力、恐懼、目標、習慣、偏見、延遲、對變革的抗拒、奉獻、善意、貪婪以及其他人類特徵。目前似乎只有人類心智能夠制定一個結構，將零散的信息拼湊在一起。但是當系統的各個部分被組裝起來後，人類心智幾乎無法預測系統所暗示的動態行為。在這方面，電腦是理想的工具。它會毫無疑問或錯誤地追蹤任何特定關係集合的互動。

回想一下我們在 Stateline Overlook 看到、感受到和聽到的層次和動態行為。Forrester在 50 年前就解釋過，動態行為對人類來說很難理解和預測。Forrester 的社會系統似乎與大型語言模型的層次、流動和注意力頭有很好的類比。

如果你能想像國家之間如何互動（這很複雜），你可能就能理解機制如何在大型語言模型 transformers中同時向多個方向流動。

理解驅動大型語言模型行為的注意力機制為有效協作提供了關鍵洞察。通過將 Claude視為一個具有內部流動、電流和表徵的動態系統，而不是靜態工具，你可以更有效地利用它的自然傾向。Forrester 博士幾十年前發現的人類心智模型和電腦模型之間的平行關係，在今天的人機協作中同樣適用。人類擅長識別模式和結構，而 AI 擅長處理複雜的互連並產生湧現的回應。

最重要的是，理解注意力機制的實際工作方式（作為通過固定地形的動態流動）改變了你與 AI 協作的方式。你不再試圖「編程」它，而是開始與其自然的連接和湧現模式合作。

注意力機制的動態、互連性質解釋了為什麼乒乓效應會起作用。這不僅僅是關於信息交換，而是關於創造條件，使新模式能夠從人類直覺和大型語言模型的分散式表徵之間的互動中湧現。 通過發展對這些系統如何運作的心智模型，你不僅在日常協作中獲得實際優勢，還能更深入地洞察協作智能的本質。

在下一章中，我們將從理論轉向實踐，通過檢視一個展示這些概念的實際對話。通過跨越數章的一系列案例研究，你將看到系統思維、注意力機制和乒乓效應如何結合產生突破性的洞察。你將親眼目睹人類和 AI 之間的界限如何成為發現原本可能隱藏的模式的沃土。

1. 下面四組問題是否與注意力頭有類比，即它們都從不同角度處理同一個輸入源？
2. 章、「以不同方式觀察」介紹了轉換視角的概念，有時甚至同時考慮多個視角。這一事實看起來與注意力頭獨立關注輸入的不同方面，然後將結果結合起來非常相似。我們是在學習像 AI 那樣思考，還是 AI 在學習像我們那樣思考，或者可能兩者都有？

注意下面發生的情況。我正在通過四個不同的視角（心智模型、實際應用、系統思維、實驗）來呈現相同的章節內容。每個「注意力頭」從不同的角度檢視這一章節。這就是注意力機制的工作方式。

1. 建立對 AI 內部過程的心智模型可能如何改變你的協作方式？你當前的心智模型中哪些方面可能需要調整？
2. 考慮 Forrester 博士對人類和電腦在建模系統方面優勢的比較。在解決複雜問題時，你的優勢如何補充 AI 的優勢？
3. 哪些類比幫助你視覺化 AI 過程？根據你在本章學到的內容，你如何改進這些類比？

1. 如果將注意力頭部理解為「多重視角同時運作」，這會如何改變你構建提示詞的方式？

1. 將人工智能協作視為兩個動態系統之間的邊界現象，這如何改變你對乒乓效應的理解？
2. 思考福瑞斯特博士的觀察：「整體內部的互動比各個部分的總和更為重要。」這個觀點如何應用於人工智能協作？

1. 嘗試在你的提示詞中使用不同層次的複雜度。大語言模型的回應會有什麼變化？