I risultati "deliranti" dei chatbot, le approvazioni di atteggiamenti o pensieri sbagliati e i rischi che ne comportano sono stati spesso sotto i riflettori. Negli scorsi mesi abbiamo assistito addirittura a incidenti inquietanti, non necessariamente correlati all'utilizzo di un chatbot (sebbene in alcuni casi siano state intentate cause contro le aziende, accusate praticamente di essere colpevoli di tali atti). Questi episodi hanno spinto un gruppo di procuratori generali a inviare una lettera alle principali aziende, tra cui Microsoft, OpenAI, Google e altre. La richiesta è chiara: correggere i risultati deliranti, altrimenti si rischia di violare la legge statale.
L’IA può causare gravi danni, secondo i procuratori
Questa lettera arriva nel pieno della disputa sulle normative legate all'IA tra governo statale e federale. Si chiede che vengano implementate nuove misure volte a individuare segni di ideazioni deliranti, oltre a nuove procedure di segnalazione degli incidenti, in modo da avvisare gli utenti quando i chatbot rispondono in modo dannoso. La pericolosità, in questo caso, riguarda anche l'impatto psicologico che ne può derivare, quindi l'influenza che il chatbot può trasmettere all'utente più vulnerabile.
Si chiede che vengano introdotti anche audit di terze parti affinché possano verificare comportamenti adulativi (risposte atte a compiacere l'utente anche se non corrette). Che si tratti di centri di ricerca oppure di organizzazioni della società civile, i procuratori chiedono che possano valutare i sistemi e pubblicare i risultati delle loro analisi senza dover ottenere l'approvazione dell'azienda.
"La GenIA ha il potenziale per cambiare in modo positivo il funzionamento del mondo. Tuttavia, ha anche causato, e potrebbe causare, gravi danni, soprattutto alle popolazioni vulnerabili", si legge nella lettera. "In molti di questi incidenti, i prodotti IA hanno generato risultati adulatori e deliranti che hanno incoraggiato le illusioni degli utenti o li hanno rassicurati sul fatto che non fossero deliranti".
Maggiore trasparenza e sicurezza
I procuratori chiedono alle aziende di trattare gli incidenti legati alla salute mentale nello stesso modo in cui le aziende tecnologiche gestiscono incidenti di sicurezza informatica. Dovrebbero, quindi, sviluppare "tempistiche di rilevamento e risposta per output adulatori e deliranti", ossia informare gli utenti se sono stati esposti a conversazioni dannose.
Inoltre, si chiede che le aziende sviluppino test di sicurezza appropriati per garantire modelli sicuri: questi test dovrebbero essere condotti prima che i modelli siano effettivamente disponibili. Voi che ne pensate? Le risposte dei chatbot possono effettivamente essere rischiose per gli utenti più vulnerabili? Avete vissuto episodi particolari? Fatecelo sapere nei commenti qui sotto.
