Il Meccanismo di Attenzione

Ho proposto un obiettivo interessante e probabilmente audace in Capitolo:

Comprensione non tecnica. Esistono libri che spiegano il funzionamento interno dell’Intelligenza Artificiale e le loro basi matematiche. Tuttavia, il nostro obiettivo è permettere alle persone non tecniche (o a chiunque si trovi nel mezzo) di costruire un modello mentale funzionale del “meccanismo di attenzione”, partendo dal presupposto che una migliore comprensione di come l’IA passa dalla richiesta alla risposta aiuterà chiunque a lavorare molto più efficacemente con l’Intelligenza Artificiale. Il nostro obiettivo è letteralmente capire l’IA moderna meglio degli esperti di IA!

Questo capitolo accelera il nostro perseguimento di questo audace obiettivo. Questo capitolo ti mostra come i flussi di attenzione scorrono attraverso la rete che hai creato nel capitolo precedente. In questo capitolo sto utilizzando una rete diversa perché quella precedente era diventata noiosa. Nel capitolo precedente, il “terreno”, ovvero la rete, era una pila di libri con segnalibri. In questo capitolo il “terreno” è più letterale mentre osserviamo dall’alto una valle fluviale boscosa.

Questo capitolo dimostra:

• Elaborazione sequenziale versus olistica
• Terreno fisso (rete) versus flussi dinamici (attenzione)
• Gli input sensoriali multipli corrispondono alle teste di attenzione
• Stare nella stessa posizione con prospettive diverse

Al centro di Figura 1, “Vista sulla strada per il Breaks Interstate Park, 27 aprile 2013”, da sinistra a destra, si può vedere una ferrovia a sinistra del fiume, un fiume, e alla destra del fiume un’autostrada che sale fino al punto da cui ho scattato la fotografia. Appena a destra del centro si può vedere che la vista della strada si allarga, con la strada non nascosta dagli alberi. Quello è il monumento al milite ignoto che vedrai nella prossima foto.

Ho acquisito familiarità con l’area mostrata in questa foto guidando su quella strada diverse volte nel corso degli anni, in entrambe le direzioni. Ho un ricordo abbastanza chiaro (cioè, un modello mentale abbastanza chiaro) del Breaks Interstate Park, ma quel modello mentale ha una limitazione. Vedi la limitazione? Ho un modello mentale dell’area di Breaks come esisteva dodici anni fa. Sono passati più di dodici anni dall’ultima volta che ho guidato lungo quel fiume. La mia data limite dei dati di addestramento, il punto oltre il quale non ho conoscenza, è il 27 aprile 2013, basata sulla data dell’ultima mia fotografia del Breaks Interstate Park.

Con i Modelli Linguistici di Grandi Dimensioni, un vincolo chiave di cui devi rimanere consapevole è la data limite dei dati di addestramento. Potrei cercare online per vedere se qualcosa è cambiato riguardo al Breaks Interstate Park. Ma non ho modo di saperlo basandomi sulla mia collezione di foto digitali. Alcuni LLM sono in grado di effettuare ricerche di informazioni sul momento, ma altri sono limitati ai dati di addestramento che sono stati acquisiti, più qualsiasi informazione che fornisci come parte della tua conversazione con l’LLM. Ognuna di queste possibilità è estremamente utile, ma devi sapere con quale tipo di sistema stai lavorando.

Il parallelo è esatto:

• Le mie fotografie: 27 aprile 2013
• Data limite di Claude 4.5: luglio 2025
• In entrambi i casi: base di conoscenza fissa seguita da inferenze fatte da quella base

Ho osservato una complicazione correlata. Molte volte ho chiesto a Claude di rivedere qualcosa che ho scritto che contiene una data corrente o recente. Claude invariabilmente suggerisce di confermare la data, citando la data in questione, perché è una data nel futuro. Basandomi sulla mia osservazione, Claude sembra assumere che la data limite dei dati di addestramento di Claude sia la data odierna. Pertanto, quando richiedo una revisione di qualcosa che contiene date recenti, inizio digitando “La data di oggi è…”.

In effetti, c’è un’intuizione più profonda che vale la pena menzionare. Credo di aver letto da qualche parte che l’applicazione desktop che uso agisce come intermediario. Essa:

1. “Tokenizza” il mio input,
2. Invia il mio input (come token) al Modello Linguistico di Grandi Dimensioni,
3. Riceve la risposta (come token), e
4. Decodifica la risposta in testo italiano normale.

L’intermediario apparentemente include contesto aggiuntivo, come la data odierna, insieme al mio messaggio effettivo.

In uno dei prossimi casi di studio, vi mostrerò che questa non è una domanda a cui è facile rispondere. Scopriremo che esistono intermediari che non posso vedere e di cui Claude non è consapevole. Conserveremo questa domanda per il caso di studio. Ora, siamo in viaggio.

Questa intera discussione e il suggerimento di “chiedere e basta” sembrerà controintuitivo se pensi al LLM come a una macchina. Ma quando inizi a relazionarti con il LLM come un partner o collaboratore, la strategia del “chiedere e basta” diventa ovvia e ha senso. Cambia il tuo modo di pensare, e un mondo completamente nuovo si manifesta.

Figura 2, “Luogo di sepoltura di un soldato sconosciuto assassinato mentre tornava a casa”, mostra il punto di riferimento visibile nella fotografia precedente. La strada principale passa a sinistra, con la piazzola pavimentata sulla destra. Il segnale spiega che qui fu sepolto un soldato ucciso da un assassino sconosciuto mentre probabilmente tornava a casa. I residenti locali si occuparono della sua sepoltura. Il cespuglio di rose centenario nella foto, protetto da pali, era da tempo svanito dalla memoria cosciente finché non ho riguardato l’immagine.

Per continuare questa analogia della costruzione di una base di conoscenza, ho ottenuto più informazioni fermandomi a leggere le informazioni che se avessi semplicemente continuato a guidare. La fotografia cattura dettagli che, un decennio dopo, non avrei ricordato. Con questa fotografia a ricordarmelo, mi ricordo di essermi fermato lì.

Grazie ai dati EXIF incorporati dalla mia fotocamera nelle foto, posso mappare la direzione di viaggio attraverso diverse altre foto nella mia libreria digitale. I dati EXIF (timestamp e posizione GPS esatta) presentano un altro livello di informazioni oltre a ciò che è visibile nell’immagine stessa.

Ho scattato le foto semplicemente come ricordi turistici. Ma quei metadati incorporati, quando combinati tra più foto, creano informazioni geografiche. Se fossi un cartografo, potrei disegnare una mappa con schizzi del terreno combinando questi due livelli. Uso qui la parola “livelli”, riferendomi alle immagini visive come un livello e ai dati GPS come un altro livello, perché è il termine utilizzato dai Modelli Linguistici di Grandi Dimensioni. I LLM hanno un concetto simile di livelli di informazione, che esploreremo in questo capitolo.

Ora guardiamo le stesse informazioni da una prospettiva completamente diversa. Figura 3, “Mappa e descrizione del punto panoramico al confine di stato”, mostra una mappa del punto panoramico stesso, stando nello stesso punto dove ho scattato la foto del terreno, ma ora guardando come un cartografo ha organizzato quelle stesse informazioni. Il punto panoramico stesso (“voi siete qui”) è nella parte inferiore della mappa, leggermente a destra del centro. La mappa mostra la ferrovia, il fiume e l’autostrada, con la posizione della tomba del soldato sconosciuto segnata appena a destra del centro della mappa.

Ecco il punto di questa analogia di viaggio: abbiamo appena sperimentato due percorsi verso la stessa informazione.

• Percorso 1: sequenziale (la strada): Ho acquisito informazioni viaggiando effettivamente attraverso il terreno, notando i dettagli uno alla volta: ogni curva, il monumento, il cespuglio di rose presso la tomba modellato o potato (non posso dire quale dalla foto) in un rettangolo come una lapide. Mi piacciono gli alberi e ho notato molti alberi singoli. So di dover prestare attenzione ai cambiamenti nelle specie di alberi quando cambio altitudine. Durante la mia ricerca nel capitolo precedente, abbiamo visto lo stesso processo: creare collegamenti da libro a libro a libro, uno alla volta, come guidare sull’autostrada fino al punto panoramico mentre si apprezza la vista a livello del suolo lungo il percorso.
• Percorso 2: olistico (la mappa): Un cartografo compila le stesse informazioni ma le organizza spazialmente, mostrando tutte le relazioni contemporaneamente. Dal punto panoramico, vedo la foresta, la ferrovia, il fiume, l’autostrada tutti visibili simultaneamente nelle loro relazioni reciproche. Come vedremo, la frase “simultaneamente nelle loro relazioni reciproche” è un concetto chiave all’interno dei Modelli Linguistici di Grandi Dimensioni. Questo concetto è ciò che i LLM chiamano “la rete”.

Prima del 5 agosto 2025, pensavo alla rete come a quella mappa statica incisa. Sapevo che gli LLM avevano “milioni di connessioni pesate” ma le vedevo come congelate, immutabili. La foto del tramonto (spiegata più avanti) mi ha mostrato ciò che mi era sfuggito: il terreno è fisso, ma ciò che vi scorre attraverso cambia costantemente. I treni si avvicinano, il traffico si muove, l’acqua scorre, l’attenzione si sposta. Questo è il meccanismo di attenzione: flussi dinamici attraverso una struttura fissa.

Il 5 agosto, ho improvvisamente realizzato che questa è la distinzione fondamentale tra come io creo modelli mentali (una connessione alla volta) e come gli LLM elaborano le informazioni (come una rete, considerando tutto contemporaneamente). All’improvviso l’ho visto.

Quel lampo improvviso di comprensione mi ha lasciato sbalordito: con un improvviso cambio di prospettiva, il mio modo di pensare corrispondeva a come l’IA “pensa”.

Il sito web del Breaks Interstate Park include una foto (a ottobre 2025) dallo stesso Stateline Overlook. È lo stesso luogo, angolazione diversa, che guarda oltre il cartello inciso verso un magnifico tramonto in lontananza. (Il sito web proibisce di riprodurre quella foto qui, il che in realtà aiuta la mia descrizione, perché dovete visualizzarla.)

Prima del 5 agosto, la mappa incisa sul cartello di legno rappresentava il mio modello mentale di come funzionano gli LLM. Sapevo che la mia comprensione era inadeguata, quindi ho iniziato una conversazione con Claude con l’obiettivo di comprendere meglio il Meccanismo di Attenzione degli LLM. Non cercavo di risolvere alcun problema particolare se non quello di migliorare la mia comprensione. È stata una conversazione sostenuta e guidata con un obiettivo specifico, proprio come ci si aspetterebbe ormai.

Per continuare con l’analogia dello Stateline Overlook, la mappa incisa è fissa. Mostra tutte le relazioni contemporaneamente: ferrovia a sinistra, fiume al centro, autostrada a destra, terreno immutabile. Quando dicevo “gli LLM elaborano le informazioni come una rete, considerando tutto contemporaneamente,” stavo immaginando quella mappa statica.

Ma la foto del tramonto mostra qualcosa di diverso. È lo stesso punto panoramico, ma in continuo cambiamento. La luce del sole si sposta. Il traffico scorre. Le multiple locomotive che portano il treno su e attraverso i Breaks sono distinte dagli stridii acuti delle ruote del treno che girano intorno alla curva del fiume; le orecchie mi dicono che un treno sta arrivando molto prima che sia visibile dal punto panoramico. L’acqua scorre attraverso le rapide e intorno alla curva del fiume. Il terreno è fisso, ma ciò che vi scorre attraverso cambia costantemente.

Questa è la rivelazione che mi ha lasciato sbalordito. La rete, il modello addestrato con i suoi milioni di connessioni pesate, è come il terreno. È fissa. (Claude descrive il modello addestrato come “milioni di connessioni pesate” ma non abbiamo ancora discusso cosa significhi questa frase. Pensatela come il terreno che vedete dal punto panoramico.) La rete è fissa, ma l’attenzione scorre attraverso quella rete dinamicamente, attivando percorsi diversi a seconda del contesto.

Questo “flusso di attenzione” è come quando le mie orecchie attirano la mia attenzione sul rumore grave e pesante della locomotiva in avvicinamento mentre le ruote del treno stanno già stridendo intorno a quella curva. La mia esperienza passata mi dice che, oltre alle locomotive di testa che ho già visto trainare il treno intorno alla curva, c’è un’altra locomotiva nel mezzo del treno, o più probabilmente alla fine del treno, che ha aiutato a spingere il treno attraverso il passo dei Breaks e rimane parte del treno mentre continua a scendere lungo il fiume sotto lo Stateline Overlook.

Allo stesso modo, il movimento sull’autostrada potrebbe attirare i miei occhi (e l’attenzione) verso destra. Posso vedere l’acqua che scorre e potrei notare i canoisti che hanno attraversato le rapide anche se sono troppo lontano per sentire il fiume. Così la mia attenzione si sposta continuamente attraverso un paesaggio fisso, con stimoli diversi che innescano focus diversi.

I meccanismi di attenzione degli LLM funzionano allo stesso modo. Diverse “correnti” di attenzione esaminano l’input simultaneamente da prospettive diverse. Gli LLM le chiamano “teste di attenzione”. Per analogia, i miei sensi della vista e dell’udito elaborano le stesse informazioni in modo diverso e simultaneamente. I segnalibri che ho messo nei libri nel capitolo precedente fungono da teste di attenzione. Ogni segnalibro indica un punto di possibile interesse. Quando cerco un argomento specifico (come l’anno in cui i primi B-25 furono consegnati con finitura in metallo naturale), so quali segnalibri esaminare. (Era nel secondo libro che ho controllato, ed era contrassegnato con un segnalibro.)

Ogni testa di attenzione, all’interno del meccanismo di attenzione del Modello Linguistico di Grandi Dimensioni, nota relazioni diverse. Poi combinano i loro risultati, proprio come la mia percezione combina ciò che vedo, sento e provo al punto panoramico. Quella percezione potrebbe benissimo essere influenzata dal mio stato d’animo del momento. (Essendo entrato nelle montagne con molti alberi, il mio stato d’animo in quel momento era quasi certamente buono.)

Perché le persone trovano intimidatori i meccanismi di attenzione? Perché vedono la matematica e presumono di dover capire i dettagli dell’implementazione. Ma non è necessario comprendere la dinamica dei fluidi per apprezzare il flusso di un fiume. (D’altra parte, attraversare quelle rapide produrrà una comprensione molto più profonda della dinamica dei fluidi. La zona Russell Fork Whitewater è classificata come Classe III-IV a seconda del flusso. Alcune parti sono classificate IV-V e hanno causato vittime.) Allo stesso modo, non ho bisogno di capire le neuroscienze per notare che il suono di un treno sposta la mia attenzione.

Lo stesso vale per lavorare con i LLM. Comprendere che l’attenzione fluisce dinamicamente attraverso una struttura fissa è l’intuizione essenziale. La matematica è l’implementazione, non il concetto. Godersi il Stateline Overlook mentre cambia continuamente mentre osservi e ascolti: questo è lo stesso concetto, la stessa intuizione essenziale.

Da questa comprensione di base di come funzionano i meccanismi di attenzione, ho iniziato a rendermi conto che questa intuizione (terreno fisso con flussi dinamici) non era affatto nuova. Il Dr. Jay W. Forrester, uno dei pionieri dell’informatica, ha descritto essenzialmente la stessa distinzione cinquant’anni fa quando confrontava i punti di forza umani e computerizzati nella modellazione di sistemi complessi.

Nel 1973 il suo libro World Dynamics spiegava:

Con l’aumento delle tensioni mondiali, molti individui e organizzazioni hanno iniziato a studiare e a influenzare gli aspetti mutevoli della situazione mondiale. Ma sembra giusto osservare che la maggior parte dell’attività si è rivolta a singoli aspetti del sistema mondiale. Poco è stato fatto finora per mostrare come le molte azioni e forze si influenzino a vicenda per produrre le conseguenze totali che ora osserviamo. Ora tuttavia, molte persone stanno iniziando a credere che le interazioni all’interno dell’insieme siano più importanti della somma delle parti separate.

Forrester aveva, a quel punto, progettato modelli computerizzati di grandi sistemi, inclusa la comunità mondiale e l’ecosistema del pianeta nel suo complesso, per 15-20 anni. Forrester, uno degli inventori e sviluppatori chiave dell’informatica digitale, ha fornito un’affascinante visione contrastante tra i modelli mentali dei sistemi sociali e i modelli computerizzati dei sistemi sociali.

Ciò che ha scritto più di 50 anni fa rimane altrettanto illuminante oggi. Non lasciatevi scoraggiare dal fatto che stia parlando di “sistemi sociali” piuttosto che della moderna collaborazione con l’Intelligenza Artificiale. Con “sistemi sociali” si riferisce all’intero pianeta nel suo complesso con tutte le sue interazioni contrastanti. La sua idea di “sistema” è più grande di quanto io possa comprendere.

Forrester definisce “modello mentale” un concetto familiare.¹

Tutti usano modelli continuamente. Ogni persona nella sua vita privata e nella sua vita comunitaria usa modelli per prendere decisioni. L’immagine mentale del mondo circostante, che ogni individuo porta nella propria testa, è un modello. Non si ha una famiglia, un’azienda, una città, un governo o un paese nella propria testa. Si hanno solo concetti e relazioni selezionati che si usano per rappresentare il sistema reale. Un’immagine mentale è un modello. Tutte le nostre decisioni vengono prese sulla base di modelli. Tutte le nostre leggi vengono approvate sulla base di modelli. Tutte le azioni esecutive vengono prese sulla base di modelli. La questione non è se usare o ignorare i modelli. La questione è solo una scelta tra modelli alternativi.

Inoltre, i modelli cambiano nel corso di una conversazione.

Quando cambia l’argomento, cambia anche il modello. Anche quando si discute di un singolo argomento, ogni partecipante alla conversazione sta usando un modello mentale diverso attraverso il quale interpretare l’argomento. Le ipotesi fondamentali differiscono ma non vengono mai portate alla luce. Gli obiettivi sono diversi e rimangono non dichiarati. Non c’è da meravigliarsi che il compromesso richieda così tanto tempo. E non sorprende che il consenso porti ad azioni che producono risultati non intenzionali.

Forrester, intenzionalmente, sta descrivendo concetti familiari a tutti. Mentre il termine “modello mentale” non è generalmente usato nella conversazione quotidiana oggi, tutti comprendiamo tali immagini mentali.

Ora arriviamo al motivo per cui ho citato Forrester così dettagliatamente. Cinquant’anni fa ha confrontato i punti di forza dei modelli mentali umani con i modelli computerizzati. Potrebbe benissimo parlare del confronto tra umani e moderna Intelligenza Artificiale.

La mente umana eccelle nella sua capacità di osservare le forze e le azioni elementari di cui è composto un sistema. La mente umana è efficace nell’identificare la struttura di una situazione complessa. Ma l’esperienza umana addestra la mente in modo inadeguato per stimare le conseguenze dinamiche di come le parti di un sistema interagiranno tra loro.

Fino a poco tempo fa non c’era modo di stimare il comportamento dei sistemi sociali se non attraverso la contemplazione, le discussioni, le argomentazioni e le congetture.

Quando posso, cerco personalmente di sfruttare i miei punti di forza. Questo significa che devo prima identificare quali potrebbero essere questi punti di forza. Forrester suggerisce la stessa cosa, ovvero identificare i punti di forza umani e quelli del computer, e combinarli di conseguenza.

L’essere umano è più capace di percepire le pressioni, le paure, gli obiettivi, le abitudini, i pregiudizi, i ritardi, la resistenza al cambiamento, la dedizione, la buona volontà, l’avidità e altre caratteristiche umane che controllano i singoli aspetti dei nostri sistemi sociali. Solo la mente umana sembra attualmente in grado di formulare una struttura in cui possano essere inseriti frammenti separati di informazione. Ma quando i pezzi del sistema sono stati assemblati, la mente è quasi inutile per anticipare il comportamento dinamico che il sistema implica. Qui il computer è ideale. Traccerà le interazioni di qualsiasi insieme specificato di relazioni senza dubbi o errori.

Ripensa agli strati e al comportamento dinamico che abbiamo visto, sentito e percepito al Stateline Overlook. Forrester ha spiegato 50 anni fa che il comportamento dinamico è difficile da comprendere e prevedere per gli esseri umani. I sistemi sociali di Forrester sembrano avere una buona analogia con gli strati LLM, i flussi e le teste di attenzione.

Se riesci a immaginare come le nazioni interagiscono tra loro (cosa che è complicata), probabilmente hai un’idea di come i meccanismi fluiscono in molte direzioni contemporaneamente all’interno dei transformer LLM.

Comprendere il meccanismo di attenzione che guida il comportamento degli LLM fornisce un’intuizione cruciale per una collaborazione efficace. Considerando Claude non come uno strumento statico ma come un sistema dinamico con flussi interni, correnti e rappresentazioni, puoi lavorare più efficacemente con le sue tendenze naturali. Il parallelismo tra modelli mentali umani e modelli computerizzati che il Dr. Forrester ha identificato decenni fa si rivela altrettanto rilevante per la collaborazione uomo-AI oggi. Gli esseri umani eccellono nell’identificare modelli e strutture, mentre l’AI eccelle nell’elaborare interconnessioni complesse e produrre risposte emergenti.

Ancora più importante, comprendere come funzionano effettivamente i meccanismi di attenzione (come flussi dinamici attraverso un terreno fisso) cambia il modo in cui collabori con l’AI. Smetti di cercare di “programmarla” e inizi a lavorare con i suoi modelli naturali di connessione ed emergenza.

La natura dinamica e interconnessa del meccanismo di attenzione spiega perché l’Effetto Ping Pong funziona. Non si tratta semplicemente di scambiare informazioni ma di creare condizioni in cui nuovi modelli possono emergere dall’interazione tra l’intuizione umana e le rappresentazioni distribuite dell’LLM. Sviluppando un modello mentale di come funzionano questi sistemi, ottieni sia un vantaggio pratico nella collaborazione quotidiana sia una comprensione più profonda della natura stessa dell’intelligenza collaborativa.

Nel prossimo capitolo, passeremo dalla teoria alla pratica esaminando una conversazione reale che dimostra questi concetti in azione. Attraverso una serie di casi studio che si estendono su diversi capitoli, vedrai come il pensiero sistemico, il meccanismo di attenzione e l’Effetto Ping Pong si combinano per produrre intuizioni rivoluzionarie. Osserverai in prima persona come il confine tra umano e AI diventi un terreno fertile per scoprire modelli che altrimenti potrebbero rimanere nascosti.

1. Le quattro serie di domande qui sotto potrebbero avere un’analogia con le teste di attenzione che elaborano tutte la stessa fonte di input ma da prospettive diverse?
2. Capitolo, “Vedere Diversamente,” ha introdotto il concetto di cambiare prospettive, a volte considerando entrambe le prospettive contemporaneamente. Questo fatto appare notevolmente simile alle teste di attenzione che si concentrano indipendentemente su diversi aspetti dell’input, per poi combinare i loro risultati. È probabile che stiamo imparando a pensare più come l’AI, o che l’AI stia imparando a pensare più come noi, o forse entrambi?

Nota cosa sta succedendo qui sotto. Sto presentando lo stesso contenuto del capitolo attraverso quattro diverse lenti (modelli mentali, applicazione pratica, pensiero sistemico, sperimentazione). Ogni “testa di attenzione” esamina il capitolo da una prospettiva diversa. Questo è esattamente come funzionano i meccanismi di attenzione.

1. In che modo lo sviluppo di un modello mentale dei processi interni dell’AI potrebbe cambiare il tuo approccio alla collaborazione? Quali aspetti del tuo attuale modello mentale potrebbero necessitare di aggiustamenti?
2. Considera il confronto del Dr. Forrester tra i punti di forza umani e computerizzati nella modellazione dei sistemi. In che modo i tuoi punti di forza completano quelli dell’AI nella risoluzione di problemi complessi?
3. Quali analogie ti aiutano a visualizzare i processi dell’AI? Come potresti perfezionare queste analogie in base a ciò che hai imparato in questo capitolo?

1. In che modo la comprensione delle teste di attenzione come “prospettive multiple simultanee” potrebbe modificare il modo in cui strutturi i tuoi prompt?

1. Come cambia la tua comprensione dell’Effetto Ping Pong quando consideri la collaborazione con l’IA come un fenomeno di confine tra due sistemi dinamici?
2. Considera l’osservazione del Dr. Forrester secondo cui “le interazioni all’interno dell’insieme sono più importanti della somma delle singole parti.” Come potrebbe applicarsi questo alla collaborazione uomo-IA?

1. Sperimenta con diversi livelli di complessità nei tuoi prompt. Come cambiano le risposte del LLM?