Nightshade è la risposta all'avanzata dei modelli di intelligenze artificiali generative che, basati su algoritmi statistici, disegnano immagini partendo da opere note. Sono molti a essersi scagliati negli ultimi mesi contro i vari Stable Diffusion, MidJourney o Dall-E per come generano le immagini. Sostanzialmente i dati con cui vengono addestrati vengono presi dalla rete, spesso senza alcuna autorizzazione da parte degli autori.
In particolare, i dataset sono stati addestrati sfruttando lo scraping dei dati (un programma che estrae dati dall'output di un altro programma), utile per indicizzare le opere per i motori di ricerca, ma rivelatosi un boomerang per gli artisti con l'affermazione delle intelligenze artificiali generative.
Nightshade mira a rendere la vita delle IA molto più dura, proteggendo al contempo il diritto d'autore.
Nightshade è uno strumento open source che può essere usato dagli artisti per aggiungere una specie di protezione alle loro immagini prima di caricarle sulla rete. Sostanzialmente il software altererebbe i pixel in modo invisibile all'occhio umano, ma capace di "avvelenarle" per le intelligenze artificiali che vogliano usarle per addestrarsi.
Nightshade non è stato sviluppato da chissà quale gruppo hacker, ma dai ricercatori dell'Università di Chicago guidati dal professor Ben Zhao e sarà aggiunto a Glaze, un altro tool online che nasconde i disegni digitali alterandone i pixel per confondere i modelli di IA. Nel caso di Nightshade però l'avvelenamento è più letale, per così dire, perché i modelli di IA apprendono dei nomi sbagliati degli oggetti che sanno osservando.
Ad esempio, i ricercatori hanno avvelenato l'immagine di un cane per far credere all'IA che sia un gatto. Dopo aver addestrato l'IA con cinquanta immagini avvelenate, la stessa ha iniziato a disegnare i cani con delle strane gambe e un aspetto non proprio piacevole. Dopo 100 immagini avvelenate, ha iniziato a generare gatti al posto dei cani. Dopo 300 immagini, chiedere un gatto produceva inevitabilmente un cane come output.
I test sono stati eseguiti sull'algoritmo Stable Diffusion e hanno dato dei risultati più che incoraggianti, tanto da far pensare che presto arriveranno tempi molto duri per gli artisti del prompt. Quantomeno ci sarà un modo per proteggersi dalle multinazionali.
