24

Wikipedia è in difficoltà a causa dei crawler IA

La Wikimedia Foundation sta affrontando un aumento senza precedenti di traffico generato da bot IA, con potenziali rischi per gli utenti reali.

NOTIZIA di Simone Lelli   —   02/04/2025
Wikipedia

Dal gennaio 2024, Wikimedia Foundation ha registrato un incremento del 50% nella larghezza di banda utilizzata per il download di contenuti multimediali. Tuttavia, non si tratta di un improvviso interesse da parte degli utenti umani, ma piuttosto di un aumento del traffico generato dai bot IA che raschiano immagini, video, articoli e altri file con licenza aperta per addestrare modelli di intelligenza artificiale generativa.

Questa impennata di traffico automatico rischia di rallentare l'accesso alle pagine e ai contenuti di Wikimedia, specialmente durante eventi di grande interesse. Per esempio, quando l'ex presidente Jimmy Carter è morto a dicembre, l'elevato interesse per il video del suo dibattito presidenziale con Ronald Reagan ha causato rallentamenti nei tempi di caricamento delle pagine per alcuni utenti. Secondo Wikimedia, il problema non è il traffico umano, ma quello generato dai bot IA che rappresenta una minaccia crescente per la stabilità del sistema.

L’impatto dei bot IA sulle risorse di Wikimedia

Mentre i lettori umani tendono a cercare argomenti specifici e spesso simili quando sono di tendenza, i bot IA raschiano massicciamente pagine anche poco visitate, costringendo Wikimedia a servire contenuti dai data center principali piuttosto che dalle cache locali. Questo processo comporta un maggiore consumo di risorse e costi per la fondazione.

Il logo di Wikipedia
Il logo di Wikipedia

Un'analisi dettagliata mostra che il 65% del traffico ad alto consumo di risorse proviene da bot. Questo fenomeno sta creando costanti interruzioni per il team di Affidabilità del sito di Wikimedia, che è costretto a bloccare i crawler per evitare che rallentino l'accesso degli utenti reali.

Il problema della mancanza di attribuzione

Oltre ai costi operativi, Wikimedia denuncia che l'espansione del traffico IA sta avvenendo senza un'adeguata attribuzione. Questo è un problema significativo per una fondazione che si basa sulle donazioni per sopravvivere, poiché l'attribuzione è fondamentale per attirare nuovi utenti e coinvolgerli nel movimento.

La mancanza di riconoscimento impedisce a Wikimedia di espandere la sua base di utenti e ottenere supporto finanziario. Come sottolineato dalla fondazione: "Il nostro contenuto è gratuito, la nostra infrastruttura no."

Di fronte a questa situazione, Wikimedia sta cercando di stabilire modalità sostenibili per consentire a sviluppatori e riutilizzatori di accedere ai suoi contenuti senza compromettere la stabilità del sito. Tuttavia, il traffico generato dai bot IA non mostra segni di rallentamento, rendendo urgente la necessità di trovare soluzioni praticabili per mantenere l'accessibilità del sito agli utenti reali.