Opmærksomhedsmekanismen

Jeg foreslog et interessant og måske endda urimeligt mål i Kapitel:

Ikke-teknisk forståelse. Der findes bøger, der forklarer kunstig intelligens’ indre mekanismer og deres matematiske grundlag. Vi sigter dog efter, at ikke-tekniske mennesker (eller alle derimellem) skal kunne opbygge en brugbar mental model af “opmærksomhedsmekanismen” ud fra antagelsen om, at bedre forståelse af hvordan AI kommer fra forespørgsel til svar vil hjælpe alle til at arbejde langt mere effektivt med kunstig intelligens. Vores mål er bogstaveligt talt at forstå moderne AI bedre end moderne AI-folk gør!

Dette kapitel fremskynder vores forfølgelse af dette dristige mål. Dette kapitel viser dig, hvordan opmærksomhedsflow bevæger sig gennem det netværk, du skabte i det forrige kapitel. Jeg bruger et andet netværk i dette kapitel, fordi det forrige netværk blev kedeligt. I sidste kapitel var “terrænet”, altså netværket, en stak bøger med sidefaner. I dette kapitel er “terrænet” mere bogstaveligt, da vi ser ned på en skovklædt floddal.

Dette kapitel demonstrerer:

• Sekventiel versus holistisk behandling
• Fast terræn (netværk) versus dynamiske strømme (opmærksomhed)
• Multiple sensoriske inputs svarer til opmærksomhedshoveder
• At stå på samme sted med forskellige perspektiver

I midten af , “,” kan du fra venstre til højre se et jernbanespor til venstre for floden, en flod, og til højre for floden en hovedvej der stiger op til hvor jeg tog fotografiet. Lige til højre for midten kan du se at udsigten til vejen bliver bredere, hvor vejen ikke er skjult af træer. Det er monumentet for en ukendt soldat, som du vil se i det næste foto.

Jeg blev fortrolig med området vist på dette foto ved at køre ad den vej flere gange gennem årene, i begge retninger. Jeg har en rimelig klar erindring (dvs. en rimelig klar mental model) af Breaks Interstate Park, men den mentale model har en begrænsning. Kan du se begrænsningen? Jeg har en mental model af Breaks-området, som det eksisterede for tolv år siden. Det er mere end tolv år siden, jeg sidst kørte langs den flod. Min skæringsdato for træningsdata, det punkt hvorefter jeg ikke har nogen viden, er 27. april 2013, baseret på tidsstemplet på mit seneste fotografi af Breaks Interstate Park.

Med store sprogmodeller er en vigtig begrænsning, som du skal være opmærksom på, skæringsdatoen for træningsdata. Jeg kunne slå op online for at se, om noget har ændret sig vedrørende Breaks Interstate Park. Men jeg har ingen måde at vide det på baseret på min digitale fotosamling. Nogle LLM’er er i stand til at foretage informationssøgninger på stedet, men andre er begrænset til det træningsdata, der er blevet indlæst, plus enhver information du giver som del af din LLM-samtale. Hver af disse muligheder er ekstremt nyttige, men du skal vide, hvilken type system du arbejder med.

Parallellen er præcis:

• Mine fotografier: 27. april 2013
• Claude 4.5s træningsskæringsdato: juli 2025
• I begge tilfælde: fast vidensbase efterfulgt af slutninger draget fra den base

Jeg har observeret en relateret komplikation. Mange gange har jeg bedt Claude om at gennemgå noget, jeg har skrevet, som indeholder en aktuel eller nylig dato. Claude foreslår invariabelt, at jeg bekræfter datoen, citerer den pågældende dato, fordi det er en dato i fremtiden. Baseret på min observation ser det ud til, at Claude antager, at Claudes skæringsdato for træningsdata er dags dato. Derfor når jeg beder om en gennemgang af noget, der indeholder nylige datoer, begynder jeg med at skrive “Dagens dato er…”.

Faktisk er der en dybere indsigt her, som er værd at nævne. Jeg mener, at jeg læste et sted, at den desktop-app, jeg bruger, fungerer som et mellemled. Den:

1. “Tokeniserer” mit input,
2. Sender mit input (som tokens) til den Store Sprogmodel,
3. Modtager svaret (som tokens), og
4. Afkoder svaret tilbage til almindelig dansk tekst.

Mellemleddet inkluderer tilsyneladende yderligere kontekst, såsom dagens dato, sammen med min egentlige besked.

I et af de kommende casestudier vil jeg vise dig, at dette ikke er et let spørgsmål at få besvaret. Vi vil opdage, at der findes mellemled, som jeg ikke kan se, og som Claude ikke er bevidst om. Vi gemmer dette spørgsmål til casestudiet. Lige nu er vi på en køretur.

Hele denne diskussion og forslaget om “bare at spørge” vil virke kontraintuitivt, hvis du tænker på LLM’en som en maskine. Men når du begynder at forholde dig til LLM’en som en partner eller samarbejdspartner, bliver strategien “bare spørg” indlysende og giver mening. Skift dit tankesæt, og en helt ny verden åbner sig.

, “,” viser vejpunktet, der er synligt på det forrige fotografi. Hovedvejen passerer til venstre, med den asfalterede vigeplads til højre. Markøren forklarer, at dette var en soldat, der blev dræbt af en ukendt morder, mens han sandsynligvis var på vej hjem. Lokale beboere tog sig af hans begravelse. Den hundrede år gamle rosenbusk på billedet, beskyttet af pæle, var længe siden forsvundet fra den bevidste hukommelse, indtil jeg kiggede på billedet igen.

For at fortsætte denne analogi om opbygning af en vidensbase, fik jeg mere information ved at stoppe og læse informationen, end hvis jeg bare var kørt forbi. Fotografiet fanger detaljer, som jeg et årti senere ikke ville have husket. Med dette fotografi til at minde mig om det, husker jeg, at jeg stoppede der.

Takket være EXIF-data, som mit kamera har indlejret i billederne, kan jeg kortlægge rejseretningen via flere andre fotos i mit digitale bibliotek. EXIF-dataene (tidsstempel og præcis GPS-placering) udgør et andet informationslag ud over det, der er synligt i selve billedet.

Jeg tog billederne som simple turistminder. Men disse indlejrede metadata skaber, når de kombineres på tværs af flere fotos, geografisk information. Hvis jeg var korttegner, kunne jeg tegne et kort med terrænsskitser ved at kombinere disse to lag. Jeg bruger ordet “lag” her, med henvisning til de visuelle billeder som ét lag og GPS-dataene som et andet lag, fordi det er det udtryk, der bruges af Store Sprogmodeller. LLM’er har et lignende koncept om informationslag, som vi vil udforske i dette kapitel.

Se nu på den samme information fra et helt andet perspektiv. , “,” viser et kort over selve udsigtspunktet, stående på samme sted hvor jeg tog terrænfotoet, men nu med fokus på hvordan en korttegner organiserede den samme information. Selve udsigtspunktet (“du er her”) er i bunden af kortet, lidt til højre for midten. Kortet viser jernbanen, floden og hovedvejen, med den ukendte soldats grav markeret lige til højre for midten på kortet.

Her er pointen med denne rejseanalogi: vi har lige oplevet to ruter til den samme information.

• Rute 1: sekventiel (vejen): Jeg fik information ved faktisk at rejse gennem terrænet, bemærke detaljer én ad gangen: hver kurve, monumentet, rosenbusken ved gravstedet formet eller beskåret (jeg kan ikke se hvilket fra fotoet) i et rektangel som en gravsten. Jeg nyder træer og bemærkede mange enkelte træer. Jeg ved, at jeg skal holde øje med ændringer i træarter, når jeg skifter højde. Under min research i det foregående kapitel så vi den samme proces: at skabe forbindelser fra bog til bog til bog, én ad gangen, ligesom at køre ad hovedvejen op til udsigtspunktet mens man værdsætter udsigten langs vejen.
• Rute 2: holistisk (kortet): En korttegner samler den samme information, men organiserer den rumligt og viser alle relationer på én gang. Fra udsigtspunktet ser jeg skoven, jernbanen, floden, hovedvejen alle synlige samtidigt i deres indbyrdes forhold. Som vi skal se, er udtrykket “samtidigt i deres indbyrdes forhold” et nøglekoncept inden for Store Sprogmodeller. Dette koncept er det, som LLM’er kalder “netværket”.

Før den 5. august 2025 tænkte jeg på netværket som det statiske indgraverede kort. Jeg forstod, at LLM’er havde “millioner af vægtede forbindelser”, men så dem som frosne og uforanderlige. Solnedgangsfotoet (forklaret nedenfor) viste mig, hvad jeg havde overset: terrænet er fast, men det der flyder igennem det ændrer sig konstant. Tog nærmer sig, trafikken bevæger sig, vand fosser, opmærksomheden skifter. Det er opmærksomhedsmekanismen: dynamiske strømme gennem fast struktur.

Den 5. august gik det pludselig op for mig, at dette er den grundlæggende forskel mellem, hvordan jeg skaber mentale modeller (én forbindelse ad gangen), og hvordan LLM’er behandler information (som et netværk, der overvejer alt på én gang). Pludselig så jeg det.

Dette pludselige, blændende glimt af forståelse slog benene væk under mig: med et pludseligt skift i perspektiv matchede min måde at tænke på, hvordan AI “tænker”.

Breaks Interstate Parks hjemmeside indeholder et foto (fra oktober 2025) fra samme Stateline Overlook. Det er samme sted, forskellig vinkel, hvor man ser forbi det indgraverede skilt til en pragtfuld solnedgang i det fjerne. (Hjemmesiden forbyder gengivelse af dette foto her, hvilket faktisk hjælper min beskrivelse, fordi du er nødt til at visualisere det.)

Før den 5. august repræsenterede det indgraverede kort på træskiltet min mentale model af, hvordan LLM’er fungerer. Jeg vidste, at min forståelse var utilstrækkelig, så jeg begyndte en samtale med Claude med det formål at opnå bedre forståelse af LLM’ens opmærksomhedsmekanisme. Jeg forsøgte ikke at løse noget bestemt problem andet end at forbedre min egen forståelse. Dette var en vedvarende og guidet samtale med et specifikt mål, præcis som du ville forvente på dette tidspunkt.

For at fortsætte med Stateline Overlook-analogien er det indgraverede kort fast. Det viser alle relationerne på én gang: jernbane til venstre, flod i midten, hovedvej til højre, terrænet uforanderligt. Når jeg sagde “LLM’er behandler information som et netværk, der overvejer alt på én gang,” forestillede jeg mig dette statiske kort.

Men solnedgangsfotoet viser noget andet. Det er samme udsigtspunkt, men i konstant forandring. Sollyset skifter. Trafikken flyder. De flere lokomotiver, der bringer toget op og gennem Breaks, er forskellige fra de høje hvin fra toghjulene, der går rundt i flodens sving; ørerne fortæller mig, at et tog er på vej, længe før det er synligt fra udsigtspunktet. Vandet fosser gennem strømfaldene og rundt om flodens sving. Terrænet er fast, men det der flyder igennem det ændrer sig konstant.

Dette er åbenbaringen, der slog benene væk under mig. Netværket, den trænede model med dens millioner af vægtede forbindelser, er som terrænet. Det er fast. (Claude beskriver den trænede model som “millioner af vægtede forbindelser”, men vi har endnu ikke diskuteret, hvad denne sætning betyder. Tænk på det som det terræn, du ser fra udsigtspunktet.) Netværket er fast, men opmærksomheden flyder dynamisk gennem dette netværk og aktiverer forskellige stier afhængigt af konteksten.

Dette “opmærksomhedsflow” er som når mine ører henleder min opmærksomhed på den tunge, dybe lokomotivlyd, der nærmer sig, mens toghjulene allerede hviner rundt om det sving. Min tidligere erfaring fortæller mig, at ud over de førende lokomotiver, jeg allerede så trække toget rundt om svinget, er der et andet lokomotiv i midten af toget, eller mere sandsynligt i slutningen af toget, som hjalp med at skubbe toget over Breaks-passet og forbliver en del af toget, mens det fortsætter nedstrøms under Stateline Overlook.

På samme måde kan bevægelse på hovedvejen trække mine øjne (og opmærksomhed) til højre. Jeg kan se det fossende vand og måske bemærke kajakroere, der har kørt gennem strømfaldene, selvom jeg er for langt væk til at høre floden. Således skifter min opmærksomhed kontinuerligt gennem et fast landskab, hvor forskellige stimuli udløser forskellige fokuspunkter.

LLM’ers opmærksomhedsmekanismer fungerer på samme måde. Forskellige “strømme” af opmærksomhed undersøger inputtet samtidigt fra forskellige perspektiver. LLM’er kalder disse “opmærksomhedshoveder”. Som analogi behandler mine sanser for syn og hørelse den samme information forskelligt og samtidigt. Bogmærkerne, jeg placerede i bøgerne i det foregående kapitel, fungerer som opmærksomhedshoveder. Hvert bogmærke signalerer et punkt af mulig interesse. Når jeg leder efter et bestemt emne (såsom året hvor de første B-25’ere blev leveret med naturlig metalfinish), ved jeg hvilke bogmærker jeg skal undersøge. (Det var i den anden bog, jeg tjekkede, og det var markeret med et bogmærke.)

Hvert opmærksomhedshoved i det store sprogmodels opmærksomhedsmekanisme bemærker forskellige relationer. Derefter kombinerer de deres resultater, præcis som min egen opfattelse kombinerer, hvad jeg ser, hører og føler ved udsigtspunktet. Denne opfattelse kunne meget vel være farvet af min indstilling på det tidspunkt. (Efter at være kommet ind i bjergene med masser af træer var min indstilling på det tidspunkt næsten helt sikkert god.)

Hvorfor finder folk opmærksomhedsmekanismer intimiderende? Fordi de ser matematikken og antager, at de behøver at forstå implementeringsdetaljerne. Men man behøver ikke at forstå fluidmekanik for at værdsætte en flods strøm. (På den anden side vil det at sejle gennem strømfaldene give en langt dybere forståelse af fluidmekanik. Russell Fork Whitewater-zonen er klassificeret som klasse III-IV afhængigt af strømmen. Dele er klassificeret som IV-V og har medført dødsfald.) På samme måde behøver jeg ikke at forstå neurovidenskab for at bemærke, at et togs horn flytter min opmærksomhed.

Det samme gælder for arbejdet med store sprogmodeller. At forstå at opmærksomhed flyder dynamisk gennem en fast struktur er den essentielle indsigt. Matematikken er implementeringen, ikke konceptet. At nyde Stateline Overlook, mens det kontinuerligt ændrer sig, mens du ser og lytter: det er det samme koncept, den samme essentielle indsigt.

Fra denne grundlæggende forståelse af hvordan opmærksomhedsmekanismer fungerer, begyndte jeg at indse, at denne indsigt (fast terræn med dynamiske strømme) slet ikke var ny. Dr. Jay W. Forrester, en af datalogiens pionerer, beskrev i det væsentlige samme sondring for halvtreds år siden, da han sammenlignede menneskers og computeres styrker i modelleringen af komplekse systemer.

I 1973 forklarede hans bog World Dynamics:

Efterhånden som de verdensomspændende belastninger er steget, er mange individer og organisationer begyndt at studere og påvirke de skiftende aspekter af verdenssituationen. Men det synes rimeligt at bemærke, at størstedelen af aktiviteten har været rettet mod separate facetter af verdenssystemet. Der er endnu gjort meget lidt for at vise, hvordan de mange handlinger og kræfter påvirker hinanden for at producere de samlede konsekvenser, som vi nu observerer. Nu er mange personer dog ved at nå til den overbevisning, at interaktionerne inden for helheden er vigtigere end summen af de separate dele.

Forrester havde på det tidspunkt designet computermodeller af store systemer, herunder verdenssamfundet og planetens økosystem som helhed, i 15-20 år. Forrester, en af de centrale opfindere og udviklere af digital databehandling til at begynde med, gav fascinerende indsigt i kontrasten mellem mentale modeller af sociale systemer og computermodeller af sociale systemer.

Det han skrev for over 50 år siden er stadig lige så indsigtsfuldt i dag. Lad dig ikke afskrække af, at han taler om “sociale systemer” frem for moderne samarbejde med kunstig intelligens. Med “sociale systemer” henviser han til hele planeten som helhed med alle dens modstridende interaktioner. Hans idé om et “system” er større, end jeg kan fatte.

Forrester kalder “mental model” et velkendt koncept.¹

Alle bruger modeller hele tiden. Enhver person bruger i sit private liv og i sit samfundsliv modeller til beslutningstagning. Det mentale billede af verden omkring en, som hver enkelt person bærer i hovedet, er en model. Man har ikke en familie, en virksomhed, en by, en regering eller et land i sit hoved. Man har kun udvalgte koncepter og relationer, som man bruger til at repræsentere det virkelige system. Et mentalt billede er en model. Alle vores beslutninger tages på basis af modeller. Alle vores love vedtages på basis af modeller. Alle ledelsesmæssige handlinger tages på basis af modeller. Spørgsmålet er ikke, om man skal bruge eller ignorere modeller. Spørgsmålet er kun et valg mellem alternative modeller.

Ydermere skifter modeller midt i en samtale.

Når emnet skifter, skifter modellen også. Selv når et enkelt emne diskuteres, bruger hver deltager i en samtale en forskellig mental model til at fortolke emnet gennem. Grundlæggende antagelser er forskellige, men bliver aldrig bragt frem i lyset. Målene er forskellige og forbliver uudtalte. Det er ikke underligt, at kompromiser tager så lang tid. Og det er ikke overraskende, at konsensus fører til handlinger, som producerer utilsigtede resultater.

Forrester beskriver med vilje koncepter, som alle kender. Mens udtrykket “mental model” ikke generelt bruges i almindelig daglig samtale i dag, forstår vi alle sådanne mentale billeder.

Nu kommer vi til grunden til, at jeg citerede Forrester så detaljeret. For halvtreds år siden sammenlignede han styrkerne ved menneskers mentale modeller med computermodeller. Han kunne lige så godt tale om mennesker sammenlignet med moderne kunstig intelligens.

Den menneskelige hjerne er fremragende til at observere de grundlæggende kræfter og handlinger, som et system består af. Den menneskelige hjerne er effektiv til at identificere strukturen i en kompleks situation. Men menneskelig erfaring træner kun hjernen dårligt i at vurdere de dynamiske konsekvenser af, hvordan systemets dele vil interagere med hinanden.

Indtil for nylig har der ikke været nogen måde at vurdere adfærden i sociale systemer på ud over gennem overvejelser, diskussioner, argumenter og gætværk.

Når jeg kan, forsøger jeg personligt at udnytte mine egne styrker. Det betyder, at jeg først skal identificere, hvad disse styrker kunne være. Forrester foreslår det samme, nemlig at identificere menneskelige styrker og identificere computerens styrker og kombinere dem i overensstemmelse hermed.

Mennesket er bedst i stand til at opfatte det pres, den frygt, de mål, vaner, fordomme, forsinkelser, modstand mod forandring, dedikation, velvilje, grådighed og andre menneskelige karakteristika, der styrer de enkelte facetter af vores sociale systemer. Kun den menneskelige hjerne synes på nuværende tidspunkt i stand til at formulere en struktur, hvor separate informationsbidder kan passes ind. Men når systemets dele er blevet samlet, er hjernen næsten ubrugelig til at forudse den dynamiske adfærd, som systemet indebærer. Her er computeren ideel. Den vil spore interaktionerne i ethvert specificeret sæt relationer uden tvivl eller fejl.

Tænk tilbage på lagene og den dynamiske adfærd, som vi så, følte og hørte ved Stateline Overlook. Forrester forklarede for 50 år siden, at dynamisk adfærd er svær for mennesker at forstå og forudsige. Forresters sociale systemer synes at have en god analogi med LLM-lag, flows og opmærksomhedshoveder.

Hvis du kan forestille dig, hvordan nationer interagerer med hinanden (hvilket er kompliceret), har du sandsynligvis en idé om, hvordan mekanismer flyder i mange retninger på én gang inden i LLM-transformere.

Forståelse af opmærksomhedsmekanismen, der driver LLM-adfærd, giver afgørende indsigt i effektivt samarbejde. Ved at se Claude ikke som et statisk værktøj, men som et dynamisk system med interne flows, strømme og repræsentationer, kan du arbejde mere effektivt med dets naturlige tendenser. Parallellen mellem menneskelige mentale modeller og computermodeller, som Dr. Forrester identificerede for årtier siden, viser sig lige så relevant for menneske-AI-samarbejde i dag. Mennesker er fremragende til at identificere mønstre og strukturer, mens AI er fremragende til at behandle komplekse sammenhænge og producere emergente responser.

Vigtigst af alt ændrer forståelsen af, hvordan opmærksomhedsmekanismer faktisk fungerer (som dynamiske flows gennem fast terræn), måden du samarbejder med AI på. Du holder op med at forsøge at “programmere” den og begynder at arbejde med dens naturlige mønstre for forbindelse og emergens.

Den dynamiske, sammenkoblede natur af opmærksomhedsmekanismen forklarer, hvorfor ping-pong-effekten virker. Det handler ikke blot om at udveksle information, men om at skabe betingelser, hvor nye mønstre kan opstå fra interaktionen mellem menneskelig intuition og LLM’ens distribuerede repræsentationer. Ved at udvikle en mental model af, hvordan disse systemer fungerer, opnår du både praktisk fordel i det daglige samarbejde og dybere indsigt i selve karakteren af kollaborativ intelligens.

I næste kapitel vil vi bevæge os fra teori til praksis ved at undersøge en faktisk samtale, der demonstrerer disse koncepter i aktion. Gennem en række casestudier, der strækker sig over flere kapitler, vil du se, hvordan systemtænkning, opmærksomhedsmekanismen og ping-pong-effekten kombineres for at producere gennembrudsindsigter. Du vil observere på første hånd, hvordan grænsen mellem menneske og AI bliver en frugtbar grund for at opdage mønstre, der ellers kunne forblive skjulte.

1. Kunne de nedenstående fire sæt spørgsmål have en analogi med opmærksomhedshoveder, der alle behandler den samme inputkilde, men fra forskellige perspektiver?
2. Kapitel, “At se tingene anderledes,” introducerede konceptet om at skifte perspektiver, nogle gange endda at overveje begge perspektiver på én gang. Den kendsgerning ligner bemærkelsesværdigt opmærksomhedshoveder, der uafhængigt fokuserer på forskellige aspekter af inputtet og derefter kombinerer deres resultater. Er det sandsynligt, at vi lærer at tænke mere som AI, eller at AI lærer at tænke mere som os, eller måske begge dele?

Bemærk hvad der sker nedenfor. Jeg præsenterer det samme kapitelindhold gennem fire forskellige linser (mentale modeller, praktisk anvendelse, systemtænkning, eksperimentering). Hvert “opmærksomhedshoved” undersøger kapitlet fra et forskelligt perspektiv. Dette er sådan opmærksomhedsmekanismer fungerer.

1. Hvordan kunne udviklingen af en mental model af AI’s interne processer ændre din tilgang til samarbejde? Hvilke aspekter af din nuværende mentale model kunne have behov for justering?
2. Overvej Dr. Forresters sammenligning af menneskers og computeres styrker i modellering af systemer. Hvordan komplementerer dine styrker AI’s styrker, når der skal løses komplekse problemer?
3. Hvilke analogier hjælper dig med at visualisere AI-processer? Hvordan kunne du forfine disse analogier baseret på det, du lærte i dette kapitel?

1. Hvordan kan forståelsen af opmærksomhedshoveder som “multiple perspektiver samtidigt” ændre den måde, du strukturerer dine prompts på?

1. Hvordan ændrer det din forståelse af ping-pong-effekten, når du ser AI-samarbejde som et grænsefænomen mellem to dynamiske systemer?
2. Overvej Dr. Forresters observation om, at “interaktionerne inden for helheden er vigtigere end summen af de separate dele.” Hvordan kan dette anvendes på menneske-AI-samarbejde?

1. Eksperimenter med forskellige kompleksitetsniveauer i dine prompts. Hvordan ændrer LLM’ens respons sig?