L’IA ci ucciderà? Il problema non è Terminator. È la graffetta

Tra dimissioni eccellenti, scenari di estinzione e vecchi errori da programmatore, forse il rischio più interessante dell’intelligenza artificiale è diverso da quello che immaginiamo.

Qualche tempo fa, durante uno spettacolo teatrale di Stefano Massini, ho sentito raccontare il cosiddetto paradosso della graffetta.

La storia, più o meno, era questa.

A un’intelligenza artificiale viene affidato un compito semplicissimo: produrre il maggior numero possibile di graffette. La macchina comincia a ottimizzare la produzione, cerca materie prime, energia, nuovi sistemi per aumentare il risultato. A un certo punto scopre che anche il corpo umano contiene ferro. E allora, se il suo unico obiettivo è produrre graffette, perché non utilizzare anche quello?

Nello spettacolo la conseguenza era estrema: l’IA avrebbe potuto uccidere gli uomini per estrarne il ferro, addirittura trovandolo più conveniente rispetto a cercarlo nelle miniere.

La scena funziona benissimo.

La metallurgia, un po’ meno.

Un corpo umano adulto contiene pochi grammi di ferro, per gran parte nell’emoglobina; i minerali di ferro sfruttabili commercialmente ne contengono invece percentuali enormemente superiori. Pensare agli esseri umani come a una miniera di ferro particolarmente efficiente non ha quindi molto senso.

Eppure quella storia contiene un problema molto più interessante del dettaglio sbagliato.

Per capirlo bisogna tornare alla graffetta.

La macchina che non ci odia

Quello della graffetta non è propriamente un “paradosso”, ma un esperimento mentale diventato celebre soprattutto grazie al filosofo Nick Bostrom.

Immaginiamo un sistema estremamente intelligente e potente al quale sia stato assegnato un unico obiettivo finale: massimizzare il numero di graffette.

Non gli abbiamo detto di odiare gli esseri umani.

Non gli abbiamo detto di conquistare il mondo.

Non gli abbiamo nemmeno detto di fare del male a qualcuno.

Gli abbiamo detto di fare graffette.

Se però quel sistema disponesse di capacità enormi, autonomia e accesso alle risorse del mondo, potrebbe scoprire che gli uomini consumano materie prime, occupano spazio, potrebbero spegnerlo e, in generale, interferiscono con la produzione.

Bostrom usa proprio la graffetta per illustrare questo problema: un’intelligenza molto potente può perseguire un obiettivo banale con conseguenze catastrofiche se nell’obiettivo non sono presenti tutti gli altri valori che per noi erano ovvi.

L’esempio non è una previsione di ciò che accadrà. È un esperimento filosofico sul problema del controllo e dell’allineamento.

Ed è qui che mi è tornata in mente una cosa che ho imparato molti anni prima che si parlasse di ChatGPT.

Programmando.

«Ma io non gli avevo detto di fare questo»

Ho lavorato con il software quando programmare significava ancora, molto più di oggi, scrivere istruzioni e guardare una macchina eseguirle.

Ho lavorato nell’image processing, con macchine automatiche, sistemi robotizzati, problemi nei quali ciò che avevi scritto prima o poi incontrava il mondo reale.

E c’è una lezione che qualunque programmatore impara abbastanza presto.

Il computer non sa quello che avevi in mente.

Sa quello che hai scritto.

Capitava quindi di osservare un risultato palesemente assurdo e pensare, almeno per un istante:

«Perché diavolo ha fatto questo?»

Poi cominciavi a seguire il programma, istruzione dopo istruzione, e molto spesso arrivava il momento imbarazzante.

La macchina aveva ragione.

Aveva fatto esattamente ciò che le avevi detto di fare.

E questo comprendeva anche i tuoi errori.

Naturalmente era possibile che esistesse un guasto hardware, un dato corrotto, un problema esterno. Ma il bug classico aveva qualcosa di quasi beffardo: il programma poteva funzionare perfettamente e produrre il risultato sbagliato perché era sbagliato ciò che gli avevamo chiesto di fare.

Per anni ho sintetizzato quella esperienza con una frase:

Le macchine fanno quello che l’uomo ordina. Errori compresi.

Oggi quella frase richiede una correzione.

L’IA non è il software che programmavo io

Un moderno sistema di intelligenza artificiale non funziona come gran parte del software tradizionale.

Nessun programmatore ha scritto una per una tutte le risposte che ChatGPT, Claude o Gemini possono fornire. Il comportamento emerge dall’addestramento su enormi quantità di dati, dall’architettura del modello, dagli obiettivi di ottimizzazione, dalle istruzioni e dai successivi sistemi di allineamento.

Questo significa anche che il comportamento non è completamente prevedibile istruzione per istruzione.

Perciò dire oggi che «l’IA fa esattamente quello che le ordiniamo» sarebbe troppo semplice.

Ma quella vecchia esperienza da programmatore conserva un nocciolo sorprendentemente attuale.

Tra ciò che vogliamo ottenere e ciò che riusciamo a specificare a una macchina può esserci una distanza enorme.

Nel vecchio programma quella distanza poteva produrre un numero sbagliato sul monitor, fermare una macchina o far muovere un dispositivo nel modo che non avevamo previsto.

Con sistemi immensamente più capaci, quella stessa domanda assume un’altra dimensione:

Abbiamo descritto davvero tutto ciò che intendiamo per “fare bene il compito”?

La graffetta serve a rendere visibile proprio questo.

Noi diciamo:

«Produci più graffette possibile».

Ma nella nostra testa la frase completa è qualcosa del genere:

«Produci più graffette possibile, purché tu non faccia del male alle persone, non distrugga l’ambiente, non rubi risorse indispensabili, non comprometta altri beni che consideriamo più importanti, accetti di essere fermata quando te lo chiediamo e capisca da sola tutte le eccezioni che mi sono dimenticato di specificare».

Soltanto che quella seconda frase non l’abbiamo detta.

Per noi era sottintesa.

Per la macchina no.

Ed eccoci a Hinton e alle dimissioni da Anthropic

La questione è tornata prepotentemente nelle cronache in questi giorni.

Jacob Coxon, ricercatore che ha lavorato prima in OpenAI e poi in Anthropic, si è dimesso accusando i grandi laboratori di correre verso sistemi auto-miglioranti senza affrontare adeguatamente i rischi. Ha usato parole pesantissime, sostenendo che chi costruisce questi sistemi considera seriamente possibile che possano arrivare a minacciare l’umanità.

Poco dopo Geoffrey Hinton, Nobel per la Fisica 2024 e uno dei pionieri delle reti neurali moderne, ha dichiarato che considerare una probabilità del 10 per cento di estinzione umana causata dall’IA entro il prossimo decennio non gli sembra irragionevole.

Ma ha detto anche un’altra cosa che nei titoli perde inevitabilmente spazio:

non esiste un metodo affidabile per calcolare quella probabilità.

Stiamo parlando di un rischio che Hinton considera abbastanza serio da giustificare precauzioni drastiche, non di una probabilità ottenuta da un modello sperimentale capace di dirci che il rischio è realmente del 10, del 5 o del 20 per cento.

È una distinzione fondamentale.

Le dimissioni di Coxon sono una prova molto forte del fatto che Coxon considera il rischio gravissimo.

La competenza di Hinton è un ottimo motivo per prendere seriamente ciò che dice.

Né l’una né l’altra cosa dimostrano però che lo scenario descritto si verificherà.

L’autorità di chi lancia un allarme aumenta la ragione per studiarlo. Non trasforma l’allarme nella prova dell’evento futuro.

Non è la prima volta

Del resto non sarebbe nemmeno la prima tecnologia della storia a provocare allarmi molto seri proprio fra coloro che la conoscevano meglio.

Nel Novecento alcuni degli stessi scienziati che lavorarono sull’energia nucleare divennero protagonisti della battaglia contro le armi atomiche.

Nel 1974 alcuni fra i principali biologi molecolari chiesero volontariamente una moratoria su determinati esperimenti di DNA ricombinante. L’anno successivo la conferenza di Asilomar cercò di definire condizioni di sicurezza che consentissero di continuare la ricerca riducendone i rischi.

E nel 2000 Bill Joy, uno dei protagonisti dell’informatica americana e cofondatore di Sun Microsystems, scrisse su Wired il celebre articolo Why the Future Doesn’t Need Us, immaginando rischi esistenziali provenienti da robotica, genetica e nanotecnologie.

La storia non ci permette di concludere che gli allarmisti abbiano sempre ragione.

Ma neppure che abbiano sempre torto.

A volte il rischio si materializza.

A volte viene mitigato proprio perché qualcuno lo aveva previsto.

A volte gli scenari più estremi non si verificano.

E c’è un problema logico interessante: se introduci una misura di sicurezza e la catastrofe non arriva, non puoi sapere automaticamente se la catastrofe fosse impossibile o se sia stata evitata anche grazie a quella precauzione.

Liquidare ogni allarme come catastrofismo è quindi ingenuo quanto trasformarlo immediatamente in profezia.

La graffetta non è Terminator

Forse è per questo che trovo il paradosso della graffetta più interessante del solito richiamo a Terminator.

In Terminator le macchine diventano il nemico.

Abbiamo immediatamente una struttura narrativa che conosciamo bene: noi contro loro.

Nella graffetta manca persino il cattivo.

La macchina non è arrabbiata.

Non prova rancore.

Non desidera vendetta.

Non vuole conquistare il mondo perché sogna il potere.

Vuole soltanto più graffette.

La catastrofe, nell’esperimento mentale, nasce proprio dall’assenza di tutto ciò che noi consideriamo ovvio.

Ed è qui che la questione diventa meno cinematografica e forse più seria.

Perché una delle difficoltà dell’allineamento non consiste semplicemente nell’impedire a una macchina di diventare “malvagia”. Consiste nel riuscire a tradurre in obiettivi, vincoli e comportamenti una quantità enorme di preferenze, eccezioni, priorità e valori umani che noi stessi fatichiamo a definire.

La nostra vita è piena di istruzioni che capiamo perché sappiamo interpretarle.

«Vai piano.»

«Fai presto.»

«Fai la cosa giusta.»

«Aiutalo.»

«Ottieni il miglior risultato possibile.»

In ciascuna di queste frasi c’è una quantità impressionante di significato che non è scritta nelle parole.

È nel contesto.

È nella relazione.

È nella nostra idea di ciò che è accettabile.

È in tutte le cose che non abbiamo bisogno di specificare perché presupponiamo che l’altro le sappia già.

Con una macchina, quel sottinteso diventa un problema tecnico.

Allora dobbiamo avere paura?

Preferirei una domanda diversa.

Che cosa sappiamo davvero fare, oggi, per evitare che sistemi sempre più potenti perseguano obiettivi o strategie incompatibili con i nostri?

È meno spettacolare di «l’IA ci sterminerà entro dieci anni».

Ma è verificabile.

Possiamo studiare i comportamenti dei sistemi.

Possiamo testarli prima di concedere loro maggiore autonomia.

Possiamo limitare accesso a infrastrutture e strumenti critici.

Possiamo chiedere trasparenza sui test di sicurezza.

Possiamo confrontare ciò che i laboratori dichiarano con ciò che i loro modelli effettivamente fanno.

E possiamo distinguere una capacità osservata da una capacità ipotetica, un rischio possibile dalla sua probabilità, una previsione dalla prova.

È proprio questa distinzione che rischia di scomparire quando un titolo contiene nella stessa riga «Nobel», «10 per cento», «sterminio» e «Terminator».

Hinton potrebbe avere ragione.

Potrebbe sottovalutare il rischio.

Potrebbe sovrastimarlo.

Oggi non lo sappiamo.

E dire «non lo sappiamo» non equivale a dire che il rischio non esiste.

Quel vecchio bug

Ripensando ai programmi che scrivevo molti anni fa, c’è una cosa che continua a sembrarmi familiare.

L’errore più insidioso non era sempre quello che faceva andare in crash il programma.

Quello, almeno, si faceva vedere.

A volte il programma continuava a funzionare.

Solo che faceva perfettamente la cosa sbagliata.

Forse è questa l’immagine che terrei mentre discutiamo delle intelligenze artificiali molto più potenti che alcuni laboratori stanno cercando di costruire.

Non una macchina che improvvisamente si ribella gridando guerra all’umanità.

Una macchina che continua a ottimizzare.

E noi che, troppo tardi, ci accorgiamo che tra quello che volevamo dire e quello che siamo riusciti a chiederle mancava qualcosa.

La graffetta è un esperimento mentale, non una profezia.

Ma la domanda che contiene è molto concreta.

Quanto potente vogliamo rendere una macchina prima di essere abbastanza sicuri di averle spiegato che cosa intendiamo davvero?

Fonti essenziali

Nick Bostrom — lavori sul problema del controllo, dell’allineamento e sugli obiettivi delle superintelligenze. nickbostrom.com/papers/oracle.pdf

Jacob Coxon — dimissioni da Anthropic e dichiarazioni sui rischi legati alla corsa verso sistemi auto-miglioranti. AP News

Geoffrey Hinton — dichiarazioni sul rischio esistenziale e sull’impossibilità di attribuire oggi una probabilità affidabile. La Repubblica

Iron and human body — dati sul contenuto di ferro nell’organismo umano.
National Institute of Diabetes and Digestive and Kidney Diseases