Механізм уваги

У Розділ я запропонував цікаву і, можливо, зухвалу мету:

Нетехнічне розуміння. Існують книги, що пояснюють внутрішню роботу Штучного Інтелекту та їх математичні основи. Проте, ми прагнемо, щоб нетехнічні люди (або будь-хто між ними) змогли побудувати працездатну ментальну модель “механізму уваги”, виходячи з припущення, що краще розуміння того, як ШІ переходить від запиту до відповіді, допоможе кожному значно ефективніше працювати зі Штучним Інтелектом. Наша мета буквально полягає в тому, щоб зрозуміти сучасний ШІ краще, ніж це роблять фахівці з ШІ!

Цей розділ прискорює досягнення цієї сміливої мети. Цей розділ показує вам, як потоки уваги проходять через мережу, яку ви створили в попередньому розділі. Я використовую іншу мережу в цьому розділі, тому що та мережа стала нудною. У минулому розділі “місцевість”, тобто мережа, була стопкою книг із закладками. У цьому розділі “місцевість” більш буквальна, оскільки ми дивимося згори на лісисту річкову долину.

Цей розділ демонструє:

• Послідовну проти цілісної обробки
• Фіксовану місцевість (мережа) проти динамічних потоків (увага)
• Множинні сенсорні входи відповідають головам уваги
• Перебування в одному місці з різних перспектив

У центрі Рисунок 1, “Вид на дорогу до парку Брейкс-Інтерстейт, 27 квітня 2013”, зліва направо, ви можете побачити залізничну колію зліва від річки, саму річку, і праворуч від річки шосе, що піднімається до місця, де я зробив фотографію. Трохи правіше центру ви можете побачити, як вид на дорогу розширюється, де дорога не прихована деревами. Це пам’ятник невідомому солдату, який ви побачите на наступному фото.

Я познайомився з місцевістю, показаною на цьому фото, проїжджаючи цією дорогою кілька разів протягом років, в обох напрямках. У мене досить чітка пам’ять (тобто, досить чітка ментальна модель) про парк Брейкс-Інтерстейт, але ця ментальна модель має обмеження. Ви бачите це обмеження? У мене є ментальна модель району Брейкс таким, яким він був дванадцять років тому. Минуло більше дванадцяти років відтоді, як я востаннє їздив уздовж цієї річки. Моя дата відсічення тренувальних даних, точка, після якої я не маю знань, - це 27 квітня 2013 року, базуючись на часовій позначці моєї останньої фотографії парку Брейкс-Інтерстейт.

З Великими Мовними Моделями, ключовим обмеженням, про яке вам потрібно пам’ятати, є дата відсічення тренувальних даних. Я міг би пошукати в інтернеті, чи щось змінилося щодо парку Брейкс-Інтерстейт. Але я не маю можливості дізнатися це на основі моєї колекції цифрових фотографій. Деякі ВММ здатні виконувати пошук інформації на місці, але інші обмежені тими тренувальними даними, які були завантажені, плюс будь-яка інформація, яку ви надаєте в рамках вашої розмови з ВММ. Кожна з цих можливостей надзвичайно корисна, але вам потрібно знати, з яким типом системи ви працюєте.

Паралель точна:

• Мої фотографії: 27 квітня 2013
• Дата відсічення Claude 4.5: липень 2025
• В обох випадках: фіксована база знань, за якою слідують висновки, зроблені на її основі

Я помітив пов’язане ускладнення. Багато разів я просив Claude переглянути щось, що я написав, що містить поточну або недавню дату. Claude незмінно пропонує підтвердити дату, цитуючи відповідну дату, оскільки це дата в майбутньому. На основі моїх спостережень, Claude, здається, припускає, що дата відсічення тренувальних даних Claude є сьогоднішньою датою. Тому, коли прошу переглянути щось, що містить недавні дати, я починаю з написання “Сьогоднішня дата - …”.

Насправді, тут є глибше розуміння, про яке варто згадати. Здається, я десь читав, що настільний додаток, який я використовую, діє як посередник. Він:

1. “Токенізує” мій ввід,
2. Надсилає мій ввід (у вигляді токенів) до Великої мовної моделі,
3. Отримує відповідь (у вигляді токенів), та
4. Декодує відповідь назад у звичайний текст.

Посередник очевидно включає додатковий контекст, такий як сьогоднішня дата, разом із моїм фактичним повідомленням.

В одному з майбутніх тематичних досліджень я покажу вам, що на це питання нелегко отримати відповідь. Ми виявимо, що існують посередники, яких я не можу бачити і про які Claude не знає. Ми залишимо це питання для тематичного дослідження. Зараз ми в дорожній подорожі.

Вся ця дискусія і пропозиція “просто запитати” здаватимуться неінтуїтивними, якщо ви думаєте про ВММ як про машину. Але коли ви починаєте ставитися до ВММ як до партнера чи співробітника, стратегія “просто запитати” стає очевидною і набуває сенсу. Змініть своє мислення, і перед вами відкриється цілком новий світ.

Рисунок 2, “Місце поховання невідомого солдата, вбитого під час повернення додому” показує придорожній знак, видимий на попередній фотографії. Головна дорога проходить зліва, з асфальтованим з’їздом праворуч. Знак пояснює, що тут був похований солдат, вбитий невідомим вбивцею, ймовірно, коли повертався додому. Місцеві жителі подбали про його поховання. Столітній кущ троянд на фото, захищений стовпами, давно зник зі свідомої пам’яті, поки я знову не подивився на зображення.

Продовжуючи цю аналогію про створення бази знань, я отримав більше інформації, зупинившись і прочитавши інформацію, ніж якби просто проїхав повз. Фотографія фіксує деталі, які через десятиліття я б не запам’ятав. Завдяки цій фотографії я пам’ятаю, що зупинявся там.

Завдяки даним EXIF, вбудованим моєю камерою у фотографії, я можу відстежити напрямок руху через кілька інших фотографій у моїй цифровій бібліотеці. Дані EXIF (часова мітка та точне місцезнаходження GPS) представляють ще один шар інформації, крім того, що видно на самому зображенні.

Я робив фотографії просто як туристичні спогади. Але ці вбудовані метадані, при поєднанні з кількома фотографіями, створюють географічну інформацію. Якби я був картографом, я міг би намалювати карту з ескізами місцевості, поєднуючи ці два шари. Я використовую тут слово “шари”, маючи на увазі візуальні зображення як один шар і дані GPS як інший шар, тому що це термін, який використовують Великі мовні моделі. ВММ мають подібну концепцію інформаційних шарів, яку ми дослідимо в цьому розділі.

Тепер погляньте на ту саму інформацію з абсолютно іншої перспективи. Рисунок 3, “Карта та опис оглядового майданчика на кордоні штату” показує карту самого оглядового майданчика, стоячи на тому самому місці, де я зробив фото місцевості, але тепер дивлячись на те, як картограф організував ту саму інформацію. Оглядовий майданчик (“ви тут”) знаходиться внизу карти, трохи правіше від центру. На карті показані залізниця, річка та шосе, а місце поховання невідомого солдата позначено трохи правіше від центру карти.

Ось суть цієї дорожньої аналогії: ми щойно пережили два маршрути до однієї і тієї ж інформації.

• Маршрут 1: послідовний (дорога): Я отримував інформацію, фактично подорожуючи місцевістю, помічаючи деталі одну за одною: кожен поворот, пам’ятник, кущ троянд на місці поховання, сформований або обрізаний (я не можу сказати, що саме з фото) у прямокутник, як надгробок. Мені подобаються дерева, і я помітив багато окремих дерев. Я знаю, що треба стежити за змінами видів дерев при зміні висоти. Під час нашого дослідження в попередньому розділі ми бачили той самий процес: створення зв’язків від книги до книги до книги, по одній за раз, як їзда по шосе до оглядового майданчика, оцінюючи вид на рівні землі по дорозі.
• Маршрут 2: цілісний (карта): Картограф компілює ту саму інформацію, але організовує її просторово, показуючи всі відносини одночасно. З оглядового майданчика я бачу ліс, залізницю, річку, шосе - все видно одночасно у їхніх взаємозв’язках. Як ми побачимо, фраза “одночасно у їхніх взаємозв’язках” є ключовою концепцією у Великих мовних моделях. Ця концепція - це те, що ВММ називають “сіткою”.

До 5 серпня 2025 року я сприймав мережу як ту статичну вигравіювану карту. Я розумів, що ВММ мають “мільйони зважених зв’язків”, але бачив їх застиглими, незмінними. Фото заходу сонця (пояснено нижче) показало мені те, що я пропустив: місцевість фіксована, але те, що через неї протікає, постійно змінюється. Наближаються потяги, рухається транспорт, тече вода, змінюється увага. Ось це і є механізм уваги: динамічні потоки крізь фіксовану структуру.

5 серпня я раптом зрозумів, що це є фундаментальною відмінністю між тим, як я створюю ментальні моделі (один зв’язок за раз), і тим, як ВММ обробляють інформацію (як мережа, розглядаючи все одночасно). Раптом я це побачив.

Цей раптовий осяйний спалах розуміння вразив мене до глибини душі: зі зміною перспективи те, як я думаю, збіглося з тим, як “думає” ШІ.

Вебсайт Breaks Interstate Park містить фотографію (станом на жовтень 2025 року) з того самого Stateline Overlook. Це те саме місце, інший кут, з видом повз вигравіюваний знак на чудовий захід сонця вдалині. (Вебсайт забороняє відтворювати це фото тут, що насправді допомагає моєму опису, бо вам потрібно це уявити.)

До 5 серпня вигравіювана карта на дерев’яному знаку представляла мою ментальну модель того, як працюють ВММ. Я знав, що моє розуміння було недостатнім, тому я почав розмову з Claude, прагнучи краще зрозуміти механізм уваги ВММ. Я не намагався вирішити якусь конкретну проблему, окрім спроби покращити власне розуміння. Це була тривала та керована розмова з конкретною метою, саме така, як ви вже могли б очікувати.

Продовжуючи аналогію зі Stateline Overlook, вигравіювана карта є фіксованою. Вона показує всі зв’язки одночасно: залізниця ліворуч, річка в центрі, шосе праворуч, незмінна місцевість. Коли я казав “ВММ обробляють інформацію як мережу, розглядаючи все одночасно”, я уявляв собі цю статичну карту.

Але фото заходу сонця показує щось інше. Це той самий оглядовий майданчик, але він постійно змінюється. Сонячне світло зміщується. Рухається транспорт. Кілька локомотивів, що ведуть потяг через Breaks, відрізняються від пронизливого виску коліс потяга, що огинає вигин річки; вуха повідомляють мені про наближення потяга задовго до того, як його можна побачити з оглядового майданчика. Вода мчить через пороги та огинає вигин річки. Місцевість фіксована, але те, що через неї протікає, постійно змінюється.

Це і є те одкровення, що вразило мене до глибини душі. Мережа, навчена модель з її мільйонами зважених зв’язків, подібна до місцевості. Вона фіксована. (Claude описує навчену модель як “мільйони зважених зв’язків”, але ми ще не обговорювали, що означає ця фраза. Уявіть це як місцевість, яку ви бачите з оглядового майданчика.) Мережа фіксована, але увага динамічно протікає через цю мережу, активуючи різні шляхи залежно від контексту.

Цей “потік уваги” подібний до того, як мої вуха звертають увагу на важкий низький гул локомотива, що наближається, коли колеса потяга вже виють на повороті. Мій минулий досвід підказує мені, що окрім головних локомотивів, які я вже бачив, як тягнуть потяг навколо повороту, є ще один локомотив посередині потяга, або, що більш імовірно, в кінці потяга, який допомагав штовхати потяг через перевал Breaks і залишається частиною потяга, коли той продовжує рух вниз за течією річки під Stateline Overlook.

Так само рух на шосе може привернути мій погляд (і увагу) праворуч. Я можу бачити бурхливу воду і можу помітити байдарочників, які пройшли пороги, хоча я занадто далеко, щоб чути річку. Таким чином моя увага постійно переміщується через фіксований ландшафт, причому різні стимули викликають різні фокуси.

Механізми уваги ВММ працюють так само. Різні “течії” уваги одночасно розглядають вхідні дані з різних перспектив. У ВММ їх називають “головками уваги”. За аналогією, мої відчуття зору та слуху обробляють ту саму інформацію по-різному і одночасно. Закладки, які я розмістив у книгах у попередньому розділі, діють як головки уваги. Кожна закладка сигналізує про можливу точку інтересу. Коли я шукаю конкретну тему (наприклад, рік, коли перші B-25 почали випускатися з природним металевим покриттям), я знаю, які закладки перевірити. (Це було в другій книзі, яку я перевірив, і було позначено закладкою.)

Кожна головка уваги в механізмі уваги Великої мовної моделі помічає різні зв’язки. Потім вони комбінують свої результати, так само як моє власне сприйняття поєднує те, що я бачу, чую та відчуваю на оглядовому майданчику. На це сприйняття цілком може впливати мій настрій у той момент. (Оскільки я в’їхав у гори з безліччю дерев, мій настрій у той момент майже напевно був хорошим.)

Чому людей лякають механізми уваги? Тому що вони бачать математику і вважають, що їм потрібно розуміти деталі реалізації. Але вам не потрібно розуміти гідродинаміку, щоб оцінити течію річки. (З іншого боку, сплав порогами дасть набагато глибше розуміння гідродинаміки. Зона порогів Russell Fork Whitewater має клас III-IV залежно від течії. Деякі частини мають клас IV-V і призвели до смертельних випадків.) Так само мені не потрібно розуміти нейронауку, щоб помітити, як гудок потяга привертає мою увагу.

Те саме стосується роботи з великими мовними моделями. Розуміння того, що увага динамічно тече через фіксовану структуру, є ключовим прозрінням. Математика – це реалізація, а не концепція. Насолоджуватися оглядовим майданчиком Stateline Overlook, який постійно змінюється, поки ви спостерігаєте та слухаєте: це той самий концепт, те саме ключове прозріння.

З цього базового розуміння того, як працюють механізми уваги, я почав усвідомлювати, що це прозріння (фіксований ландшафт з динамічними потоками) зовсім не було новим. Доктор Джей В. Форрестер, один із піонерів обчислювальної техніки, описав по суті те саме розрізнення п’ятдесят років тому, порівнюючи людські та комп’ютерні можливості в моделюванні складних систем.

У 1973 році його книга Світова динаміка пояснювала:

Коли світові стреси зросли, багато людей та організацій почали вивчати та впливати на мінливі аспекти світової ситуації. Але, здається, справедливо зауважити, що більшість діяльності була спрямована на окремі грані світової системи. Мало що було зроблено, щоб показати, як багато дій і сил впливають одна на одну, створюючи ті загальні наслідки, які ми спостерігаємо зараз. Однак тепер багато людей починають вірити, що взаємодії в межах цілого важливіші за суму окремих частин.

На той момент Форрестер вже 15-20 років розробляв комп’ютерні моделі великих систем, включаючи світову спільноту та екосистему планети в цілому. Форрестер, один із ключових винахідників та розробників цифрових обчислень, надав захопливе розуміння, протиставляючи ментальні моделі соціальних систем та комп’ютерні моделі соціальних систем.

Те, що він написав понад 50 років тому, залишається таким же проникливим і сьогодні. Не відлякуйтесь тим, що він говорить про “соціальні системи”, а не про сучасну співпрацю зі штучним інтелектом. Під “соціальними системами” він має на увазі всю планету в цілому з усіма її конфліктними взаємодіями. Його уявлення про “систему” більше, ніж я можу осягнути.

Форрестер називає “ментальну модель” знайомою концепцією.¹

Кожен постійно використовує моделі. Кожна людина у своєму приватному житті та у своєму громадському житті використовує моделі для прийняття рішень. Ментальний образ світу навколо, який носить у голові кожна людина, є моделлю. У людини немає сім’ї, бізнесу, міста, уряду чи країни в голові. У неї є лише вибрані концепції та відносини, які вона використовує для представлення реальної системи. Ментальний образ – це модель. Усі наші рішення приймаються на основі моделей. Усі наші закони приймаються на основі моделей. Усі виконавчі дії здійснюються на основі моделей. Питання не в тому, використовувати чи ігнорувати моделі. Питання лише у виборі між альтернативними моделями.

Більше того, моделі змінюються під час розмови.

Коли змінюється тема, змінюється і модель. Навіть коли обговорюється одна тема, кожен учасник розмови використовує різну ментальну модель, через яку інтерпретує предмет. Фундаментальні припущення відрізняються, але ніколи не виносяться на поверхню. Цілі різні і залишаються невисловленими. Не дивно, що компроміс займає так багато часу. І не дивно, що консенсус призводить до дій, які дають непередбачувані результати.

Форрестер навмисно описує концепції, знайомі кожному. Хоча термін “ментальна модель” зазвичай не використовується в повсякденній розмові сьогодні, ми всі розуміємо такі ментальні образи.

Тепер ми підходимо до причини, чому я цитував Форрестера так детально. П’ятдесят років тому він порівнював сильні сторони людських ментальних моделей з комп’ютерними моделями. Він міг би так само говорити про порівняння людей із сучасним штучним інтелектом.

Людський розум чудово вміє спостерігати за елементарними силами та діями, з яких складається система. Людський розум ефективний у визначенні структури складної ситуації. Але людський досвід погано тренує розум для оцінки динамічних наслідків того, як частини системи будуть взаємодіяти між собою.

До недавнього часу не було іншого способу оцінити поведінку соціальних систем, окрім як через роздуми, обговорення, суперечки та припущення.

Коли можу, я особисто намагаюся використовувати власні сильні сторони. Це означає, що спочатку мені потрібно визначити, якими можуть бути ці сильні сторони. Форрестер пропонує те саме: визначити сильні сторони людини, визначити сильні сторони комп’ютера та відповідно їх поєднати.

Людина найкраще здатна сприймати тиск, страхи, цілі, звички, упередження, затримки, опір змінам, відданість, добру волю, жадібність та інші людські характеристики, які контролюють окремі аспекти наших соціальних систем. Лише людський розум наразі здається здатним сформулювати структуру, в яку можна вмістити окремі фрагменти інформації. Але коли частини системи зібрані, розум майже марний для передбачення динамічної поведінки, яку передбачає система. Тут комп’ютер ідеальний. Він простежить взаємодію будь-якого заданого набору відносин без сумнівів чи помилок.

Згадайте шари та динамічну поведінку, які ми бачили, відчували та чули на оглядовому майданчику Stateline. Форрестер 50 років тому пояснив, що динамічну поведінку людям важко зрозуміти та передбачити. Соціальні системи Форрестера, здається, мають хорошу аналогію з шарами ВММ, потоками та головками уваги.

Якщо ви можете уявити, як нації взаємодіють між собою (що є складним), ви, ймовірно, маєте уявлення про те, як механізми течуть у багатьох напрямках одночасно всередині трансформерів ВММ.

Розуміння механізму уваги, який керує поведінкою ВММ, надає вирішальне розуміння для ефективної співпраці. Розглядаючи Claude не як статичний інструмент, а як динамічну систему з внутрішніми потоками, течіями та представленнями, ви можете ефективніше працювати з його природними тенденціями. Паралель між людськими ментальними моделями та комп’ютерними моделями, яку д-р Форрестер визначив десятиліття тому, виявляється однаково актуальною для співпраці людини та ШІ сьогодні. Люди досконалі у визначенні паттернів і структур, тоді як ШІ досконалий в обробці складних взаємозв’язків і створенні емерджентних відповідей.

Найважливіше, розуміння того, як механізми уваги насправді працюють (як динамічні потоки через фіксований ландшафт), змінює спосіб вашої співпраці з ШІ. Ви перестаєте намагатися його “програмувати” і починаєте працювати з його природними паттернами зв’язку та емерджентності.

Динамічна, взаємопов’язана природа механізму уваги пояснює, чому працює Ефект Пінг-Понгу. Йдеться не просто про обмін інформацією, а про створення умов, де нові паттерни можуть виникати з взаємодії між людською інтуїцією та розподіленими представленнями ВММ. Розвиваючи ментальну модель того, як працюють ці системи, ви отримуєте як практичну перевагу в щоденній співпраці, так і глибше розуміння природи самого колаборативного інтелекту.

У наступному розділі ми перейдемо від теорії до практики, розглянувши реальну розмову, яка демонструє ці концепції в дії. Через серію тематичних досліджень, що охоплюють кілька розділів, ви побачите, як системне мислення, механізм уваги та Ефект Пінг-Понгу поєднуються для створення проривних ідей. Ви безпосередньо спостерігатимете, як межа між людиною та ШІ стає родючим ґрунтом для виявлення паттернів, які інакше могли б залишитися прихованими.

1. Чи можуть наведені нижче чотири набори питань мати аналогію з головками уваги, які всі обробляють одне й те саме джерело вхідних даних, але з різних перспектив?
2. Розділ, “Дивитися по-іншому,” представив концепцію зміни перспектив, іноді навіть розглядаючи обидві перспективи одночасно. Цей факт виглядає надзвичайно схожим на головки уваги, які незалежно фокусуються на різних аспектах вхідних даних, а потім поєднують свої результати. Чи ймовірно, що ми вчимося мислити більше як ШІ, чи ШІ вчиться мислити більше як ми, чи, можливо, обидва варіанти?

Зверніть увагу на те, що відбувається нижче. Я представляю той самий зміст розділу через чотири різні лінзи (ментальні моделі, практичне застосування, системне мислення, експериментування). Кожна “головка уваги” розглядає розділ з різної перспективи. Це і є те, як працюють механізми уваги.

1. Як розвиток ментальної моделі внутрішніх процесів ШІ може змінити ваш підхід до співпраці? Які аспекти вашої поточної ментальної моделі можуть потребувати коригування?
2. Розгляньте порівняння д-ра Форрестера сильних сторін людини та комп’ютера в моделюванні систем. Як ваші сильні сторони доповнюють сильні сторони ШІ при вирішенні складних проблем?
3. Які аналогії допомагають вам візуалізувати процеси ШІ? Як ви могли б удосконалити ці аналогії на основі того, що дізналися в цьому розділі?

1. Як розуміння механізмів уваги як “множинних перспектив одночасно” може змінити ваш підхід до структурування запитів?

1. Як розгляд взаємодії з ШІ як граничного явища між двома динамічними системами змінює ваше розуміння Пінг-понг Ефекту?
2. Розгляньте спостереження доктора Форрестера про те, що “взаємодії всередині цілого важливіші за суму окремих частин.” Як це можна застосувати до співпраці людини та ШІ?

1. Поекспериментуйте з різними рівнями складності у ваших запитах. Як змінюється відповідь ВММ?