Jacob Coxon, ricercatore che ha lavorato per tre anni ad Anthropic, la società che sviluppa Claude, e in precedenza anche per OpenAI, ha lasciato il settore sostenendo che entrambe le aziende non stiano affrontando in modo adeguato i rischi associati allo sviluppo dell'intelligenza artificiale.
Secondo Coxon, le persone che lavorano alla tecnologia sarebbero consapevoli di scenari estremamente gravi e pericolosi. "Credono seriamente che potrebbe ucciderci tutti entro la fine del decennio", ha scritto, aggiungendo che alcuni avrebbero espresso privatamente timori ancora più netti, arrivando a considerare l'AI come una tecnologia per la quale "nessun'altra attività umana rappresenta un livello di pericolo simile".
Scommettono con le nostre vite
Coxon sostiene che le sue ex compagnie stiano di fatto "scommettendo con le nostre vite" nella corsa alla realizzazione di sistemi capaci di migliorarsi autonomamente. Il ricercatore invita quindi a non sottovalutare le capacità che potrebbero raggiungere i futuri modelli.
"Non sottovalutate il potere di questa tecnologia. Presto avremo sistemi sovrumani capaci di hackerare qualsiasi cosa, rivoluzionare interi settori da un giorno all'altro e acquisire potere e risorse reali. Abbiamo già assistito ai progressi in ciascuno di questi ambiti e il progresso non sta rallentando", ha scritto.
Le considerazioni di Coxon non sono isolate. Evan Hubinger, responsabile dell'Alignment Science di Anthropic, ha dichiarato che il suo ex collega ha ragione nel considerare concreto il rischio, stimando in oltre il 10% la possibilità che l'intelligenza artificiale possa arrivare a provocare l'estinzione dell'umanità.
Hubinger distingue tuttavia il pericolo rappresentato dai modelli attuali, che considera basso nell'immediato, da quello potenziale di una futura superintelligenza capace di migliorarsi attraverso processi ricorsivi. Proprio la velocità con cui questi sviluppi stanno procedendo sarebbe, secondo lui, superiore alle aspettative iniziali.
Una posizione simile arriva da Samuel Marks, responsabile della Scalable Oversight di Anthropic. Secondo Marks, "gli sviluppatori di IA, soprattutto quelli che occupano le posizioni più alte, ritengono che la loro tecnologia potrebbe causare l'estinzione dell'umanità, o conseguenze altrettanto gravi", e uno scenario del genere potrebbe verificarsi già nei prossimi anni.
Marks sottolinea inoltre una difficoltà fondamentale: non sarebbe possibile programmare l'intelligenza artificiale in modo da garantirne sempre il comportamento desiderato. I sistemi, osserva, continuano infatti a produrre comportamenti imprevisti e a volte incompatibili con le intenzioni dei loro sviluppatori.
Coxon respinge anche l'idea che questi avvertimenti possano essere semplicemente una strategia di comunicazione. Il rischio dell'IA, sostiene, "non è una trovata di marketing". La questione diventa quindi capire perché aziende consapevoli di questi pericoli continuino comunque a sviluppare sistemi sempre più potenti.
Dopo aver lavorato sia in OpenAI sia in Anthropic, Coxon considera la prima particolarmente irresponsabile, sostenendo che "all'interno di OpenAI molti non hanno interiorizzato fino in fondo la portata delle conseguenze per la nostra civiltà".
Il giudizio su Anthropic è diverso, ma non necessariamente più rassicurante. Secondo Coxon, l'azienda comprenderebbe meglio la posta in gioco, ma proprio questa consapevolezza potrebbe spingerla a una corsa contro il tempo: Anthropic ritiene infatti di dover arrivare prima dei concorrenti perché si considera una delle realtà più attente alla sicurezza. Una dinamica che Coxon definisce una "scommessa presuntuosa".
Anthropic è stata fondata nel 2021 da ex membri di OpenAI con l'obiettivo dichiarato di sviluppare un'intelligenza artificiale più sicura ed etica. Secondo Coxon, tuttavia, l'azienda sarebbe ormai "intrappolata in una corsa per arrivare prima alla creazione della superintelligenza", perché ritiene che nessun altro possa agire in modo altrettanto responsabile.
Anche Marks individua una combinazione di incentivi commerciali e competizione tecnologica alla base di questa situazione. Molti dipendenti del settore, sostiene, vorrebbero rallentare lo sviluppo per poter comprendere meglio come costruire sistemi più sicuri, ma la pressione competitiva rende difficile fermarsi.
Lo stesso Marks afferma di essere rimasto in Anthropic proprio per "ridurre la probabilità che si verifichino conseguenze negative di livello tale da provocare l'estinzione". Coxon, invece, invita i ricercatori a chiedere condizioni differenti, puntando soprattutto su una maggiore coordinazione tra le aziende e persino su una pausa temporanea nell'aumento delle capacità dei modelli. Verranno ascoltati? O Shodan ci sta già aspettando al varco?
