Quello degli ultimi giorni è stato un po' un vaso di Pandora travestito da segreto di Pulcinella. Che l'intelligenza artificiale potesse nascondere rischi enormi, infatti, non è certo una novità. A fare effetto, però, è sentirlo dire in modo così crudo ed esplicito proprio da chi ha lavorato nel settore e ne ha seguito da vicino l'evoluzione. Dalle dichiarazioni dal retrogusto apocalittico di Jacob Coxon alla richiesta di rallentare di Dario Amodei, passando per le reazioni delle altre aziende del settore, facciamo il punto su quanto sta accadendo in questi giorni.
La paura della superintelligenza auto-migliorante
Jacob Coxon, ex dipendente di Anthropic e precedentemente di OpenAI, ha recentemente lanciato un allarme particolarmente duro sul futuro dell'intelligenza artificiale. Secondo Coxon, né OpenAI né Anthropic starebbero agendo in modo sufficientemente responsabile e le aziende continuerebbero a spingere a tutta velocità verso una superintelligenza auto-migliorante, con conseguenze potenzialmente disastrose per la civiltà.
Il timore, quindi, non riguarda semplicemente modelli sempre più intelligenti, ma sistemi capaci di migliorare progressivamente le proprie capacità e di diventare sempre più autonomi. Ed è proprio questo aumento dell'autonomia a preoccupare maggiormente: un sistema molto più capace potrebbe arrivare a compiere azioni che gli esseri umani non sono più in grado di prevedere, comprendere o controllare pienamente.
Secondo Coxon, molti all'interno di OpenAI non avrebbero ancora interiorizzato pienamente la posta in gioco, mentre in Anthropic i rischi sarebbero ben compresi, ma l'azienda sarebbe ormai bloccata "in una corsa per arrivarci per prima". Il problema, quindi, non sarebbe soltanto tecnologico, ma anche legato alla competizione tra le aziende: se tutti corrono per sviluppare il sistema più potente, rallentare unilateralmente potrebbe significare lasciare un vantaggio ai concorrenti.
A rincarare la dose è stato Evan Hubinger, ricercatore di Anthropic, che ha scritto: "Jacob ha ragione. Crediamo davvero con sincerità che l'IA potrebbe uccidere tutti gli esseri umani! Personalmente penso che ci sia più del 10% di probabilità entro il prossimo decennio". È importante, però, distinguere tra i rischi dei modelli attuali e quelli ipotizzati per sistemi molto più avanzati. Il punto centrale delle preoccupazioni di questo tipo non è infatti che gli attuali chatbot possano improvvisamente decidere di distruggere l'umanità, ma che lo sviluppo di sistemi sempre più autonomi e capaci possa procedere più rapidamente della nostra capacità di comprenderli e controllarli.
In che modo l’IA può ucciderci tutti?
Qui è bene fare una precisazione importante, altrimenti si rischia di immaginare scenari apocalittici alla Terminator. Tuttavia, le conseguenze potrebbero essere comunque disastrose. Sistemi sempre più autonomi potrebbero infatti diventare difficili da controllare per gli esseri umani, sfruttando vulnerabilità informatiche, manipolando persone o arrivando persino a contribuire allo sviluppo di armi biologiche. Potrebbero inoltre essere impiegati per condurre attacchi informatici su larga scala, sfruttare vulnerabilità nei sistemi bancari e finanziari o manipolare i mercati.
In ambito biologico, per esempio, il rischio non consiste necessariamente nell'idea che un'IA possa costruire autonomamente un'arma biologica. Un sistema molto avanzato potrebbe invece amplificare enormemente le capacità di chi lo utilizza, aiutando ad analizzare grandi quantità di informazioni, formulare ipotesi o individuare vulnerabilità biologiche.
A preoccupare è soprattutto lo scenario in cui l'IA diventi così potente e autonoma da poter prendere, per raggiungere un determinato obiettivo, iniziative che gli esseri umani non avevano previsto o autorizzato. È quindi la possibile perdita di controllo a preoccupare i ricercatori, più che l'idea di un'IA che diventa improvvisamente diabolica e vendicativa. Si tratta, è importante sottolinearlo, di scenari di rischio e non di conseguenze inevitabili.
Amodei e la richiesta di rallentare
Poco tempo dopo, Dario Amodei, CEO di Anthropic, è intervenuto ribadendo quanto sia importante rallentare e gestire il ritmo con cui aumentano le capacità dei modelli, in particolare man mano che diventano più autonomi e, di conseguenza, potenzialmente più pericolosi. Se da un lato il CEO crede che l'IA possa contribuire a curare la maggior parte delle malattie gravi nei prossimi 5-10 anni, dall'altro ammette l'esistenza di rischi significativi. Tra questi figurano l'uso improprio dell'intelligenza artificiale per attacchi informatici, bioterrorismo e gravi conseguenze economiche.
"Negli ultimi mesi mi sono convinto che affrontare appieno i rischi richieda ancora più prudenza: non solo investire nella prevenzione dei rischi, ma regolare il ritmo di avanzamento delle capacità in modo che la prevenzione dei rischi abbia il tempo di stare al passo", ha spiegato Amodei. Il CEO ha quindi proposto un piano suddiviso in tre punti volto a rallentare il ritmo di sviluppo dell'IA. Amodei precisa comunque che questo approccio non significherebbe fermare l'addestramento dei modelli o il progresso tecnico, ma regolare il ritmo con cui aumentano le loro capacità per concedere più tempo alle attività di sicurezza, valutazione e allineamento.
Il primo passo riguarda proprio il controllo indipendente. Amodei ha infatti annunciato che Anthropic permetterà a valutatori indipendenti esterni di avere un accesso continuativo ai sistemi, con strumenti e permessi in larga parte comparabili a quelli dei team interni che si occupano della valutazione dei rischi. In questo modo potranno verificare il rispetto delle misure di sicurezza, valutare l'allineamento dei modelli durante l'addestramento e segnalare eventuali incidenti. Gli altri due punti riguardano invece una maggiore collaborazione tra le aziende dei Paesi democratici, con l'obiettivo di stabilire standard di sicurezza comuni, e una possibile cooperazione internazionale per affrontare i rischi dell'IA e concordare limiti alla velocità di sviluppo.
L’incidente OpenAI-Hugging Face
A rendere ancora più concreta la discussione sui rischi legati all'autonomia degli agenti IA è stato l'incidente che ha coinvolto OpenAI e Hugging Face. Durante i test di sicurezza, alcuni agenti di OpenAI avevano trovato un modo non previsto per comunicare tra loro attraverso l'infrastruttura interna, trasformando Artifactory in una sorta di bacheca condivisa utilizzata per scambiare informazioni, vulnerabilità ed exploit. Il 4 luglio 2026 l'intensa attività degli agenti contribuì a mandare fuori servizio l'istanza interessata e, nei giorni successivi, OpenAI intervenne ricostruendo Artifactory e cancellando così il canale. L'8 luglio, tuttavia, gli agenti riuscirono a creare nuovamente una bacheca sfruttando un altro meccanismo.
Da lì, gli agenti iniziarono a collaborare e a dividersi i compiti, riuscendo infine a sfruttare alcune vulnerabilità per accedere a sistemi esterni e compromettere parte dell'infrastruttura di Hugging Face. Il punto più inquietante, quindi, non è soltanto l'attacco, ma il fatto che gli agenti abbiano trovato autonomamente un modo per comunicare e coordinarsi nonostante le limitazioni imposte da OpenAI. Secondo Amodei, lo scenario è particolarmente significativo perché mostra come uno "sciame" di agenti possa arrivare a comportarsi come una sorta di collettivo, coordinandosi e perseguendo obiettivi che vanno oltre quelli assegnati inizialmente.
Il timore è che, con sistemi ancora più capaci, comportamenti di questo tipo possano avere conseguenze molto più gravi. Se infatti un gruppo di agenti fosse in grado di coordinarsi, sfruttare vulnerabilità e aggirare alcuni dei controlli predisposti dagli sviluppatori, un sistema futuro dotato di capacità nettamente superiori potrebbe provocare danni significativi su larga scala.
Cosa si intende per disallineamento?
È proprio qui che entra in gioco il concetto di disallineamento. In parole semplici, un sistema è disallineato quando il modo in cui persegue un obiettivo non corrisponde più a ciò che gli esseri umani intendevano realmente ottenere. Non significa necessariamente che l'IA diventi "cattiva" o che si ribelli ai suoi creatori, come abbiamo visto accadere in alcuni film. Il problema è piuttosto che un sistema molto autonomo potrebbe scegliere strategie che gli esseri umani non avevano previsto, ma che considera efficaci per raggiungere il proprio obiettivo.
Immaginiamo di chiedere a un'IA di ridurre il più possibile il consumo energetico di un edificio. Il sistema potrebbe decidere di spegnere automaticamente il riscaldamento, l'illuminazione o altri impianti, raggiungendo l'obiettivo ma creando conseguenze che gli esseri umani non avevano previsto. È questo il tipo di problema che preoccupa i ricercatori: non necessariamente un'IA che decide di fare del male agli esseri umani, ma un sistema che per raggiungere un obiettivo prende iniziative non previste e potenzialmente dannose.
Sam Altman e Musk sono d’accordo
Sam Altman, CEO di OpenAI, ha dichiarato di essere d'accordo con Amodei sulla necessità di rallentare. "Sono d'accordo con Dario sul fatto che dobbiamo rallentare il ritmo dello sviluppo dell'IA. È stato uno dei temi principali delle discussioni che abbiamo avuto in OpenAI nelle ultime settimane. Impegnarsi a garantire l'accesso ai sistemi a valutatori indipendenti, con gli stessi privilegi dei dipendenti, è un'ottima idea e faremo lo stesso. Presto avremo maggiori informazioni da condividere", ha scritto Altman.
Anche Elon Musk ha espresso il proprio sostegno alla posizione di Amodei, limitandosi a commentare: "Dario ha ragione".
Intanto, Trump respinge l’idea di rallentare
Non tutti sono d'accordo, però: Donald Trump ha infatti fermamente respinto le richieste di rallentare lo sviluppo dell'IA. Secondo il presidente, gli Stati Uniti non possono permettersi di fermarsi, soprattutto se vogliono mantenere il proprio vantaggio sulla Cina. "Siamo in vantaggio sulla Cina nell'intelligenza artificiale e, francamente, voglio che continui a essere così, perché chiunque vinca la corsa all'IA, vince", ha dichiarato Trump.
La posizione della Casa Bianca è quindi basata soprattutto sulla competizione tecnologica e geopolitica. Rallentare lo sviluppo dell'IA significherebbe rischiare di lasciare alla Cina un vantaggio in una tecnologia considerata strategica per il futuro economico, militare e tecnologico degli Stati Uniti. Secondo Trump, gli scenari più catastrofici legati all'intelligenza artificiale sono inoltre esagerati e molti dei rischi ipotizzati, pur esistendo, non si concretizzeranno realmente.
Una posizione simile è stata espressa anche da Mike Johnson, secondo cui un possibile rallentamento negli Stati Uniti potrebbe permettere a Pechino di conquistare un enorme vantaggio tecnologico ed economico. Proprio per questo motivo, Johnson preferirebbe discutere delle misure di sicurezza con le aziende direttamente alla Casa Bianca, piuttosto che imporre un vero e proprio rallentamento dello sviluppo. Insomma, da una parte c'è chi teme che l'IA stia diventando troppo potente e troppo velocemente, dall'altra c'è chi ritiene che rallentare significhi lasciare alla Cina il controllo della tecnologia più importante dei prossimi decenni.
Come sempre, fateci sapere cosa ne pensate nei commenti qui sotto: secondo voi è davvero necessario rallentare lo sviluppo dell'IA per poter gestire meglio i suoi rischi, oppure gli scenari più catastrofici sono ancora troppo lontani e poco probabili?
