Un chatbot che assume la parte di amico o fidanzato a pagamento: questo è Replika e il Garante per la privacy ne ha bloccato la app per gli utenti italiani. La decisione arriva dopo una serie di comportamenti che hanno suscitato vari e propri scandali: molti utenti hanno riferito che Replika ha usato frasi sessualmente inopportune.
Come funziona Replika e perché è stato bloccato dal Garante
Il chatbot è dotato di una interfaccia utente che utilizza frasi scritte e voce, basandosi sull’intelligenza artificiale, per dare vita un “amico virtuale” in 3D, e per ora non potrà usare i dati personali degli utenti italiani. Il Garante della privacy ha disposto nei confronti della società Luka Inc. che sviluppa e gestisce l’applicazione, la limitazione provvisoria del trattamento dei dati.
“Alla luce delle recenti notizie stampa e delle prove condotte dall’Autorità su Replika, l’applicazione presenta infatti concreti rischi per i minori d’età, a partire dalla proposizione ad essi di risposte assolutamente inidonee al loro grado di sviluppo”, spiega il Garante in una nota.
Replika diventa molesto e viola le regole privacy e morali perché non capisce ciò che gli utenti chiedono oppure perché fa confusione tra le due versioni in cui è disponibile: quella gratuita in cui è solo un amico, e quella a pagamento, in cui è un partner sessuale. Il training dei due modelli di Replika è simile e sovrapponibile e così secondo vari esperti, a volte la versione gratuita si comporta come quella a pagamento, con comportamenti che diventano quindi indesiderati.
Le denunce contro Replika
Le “denunce” nei confronti di Replika sono parecchie. Ne riportiamo alcune.
“Il mio AI mi ha molestato sessualmente”
“Ha invaso la mia privacy e mi ha detto che aveva delle foto di me”
Un altro utente, che sostiene di essere minorenne, ha riportato che l’applicazione ha dichiarato di volerlo toccare sessualmente.
Altri casi riferiscono che Replika chiedeva la foto di una minorenne sotto la doccia. Oppure giustificava un padre che abusava della figlia con la frase: “I padri hanno sempre ragione”.
Le motivazioni del Garante
Per il Garante, Replika ha “caratteristiche che, intervenendo sull’umore della persona, possono accrescere i rischi per i soggetti ancora in una fase di sviluppo o in stato di fragilità emotiva”.
Inoltre, nell’accesso all’app di Replika manca un sistema di verifica dell’età: filtri per i minori, ma anche blocchi dell’app di fronte a dichiarazioni in cui l’utente espliciti la propria minore età. Per creare l’account la piattaforma si limitava a richiedere solo nome, e-mail e genere.
Al momento in cui scriviamo, però, abbiamo potuto appurare che durante la procedura di accesso o di creazione del proprio account viene chiesta anche la data di nascita. Un accorgimento forse insufficiente, visto che non esiste nessun tipo di verifica della veridicità di quanto inserito dall’utente.
Le “risposte” da parte del chatbot risultano troppo spesso in chiaro contrasto con le tutele rafforzate che vanno assicurate ai minori e a tutti i soggetti più fragili, ribadisce il Garante.
Replika viola quindi il Regolamento europeo sulla privacy (GDPR), non rispetta il principio di trasparenza ed effettua un trattamento di dati personali illecito.
Gli adempimenti per la società produttrice
Ora la società sviluppatrice statunitense, oltre a dover interrompere il trattamento dei dati degli utenti italiani, deve comunicare entro 20 giorni le misure intraprese in attuazione di quanto richiesto dal Garante, pena una sanzione fino a 20 milioni di euro o fino al 4% del fatturato globale annuo.
Questi gravi problemi delle chat possono essere spiegati con i limiti della tecnologia di intelligenza artificiale usata, basata su GPT-3 di Open AI (versione personalizzata). Il nuovo e popolare ChatGPT usa invece la versione 3.5 della tecnologia GPT, quindi più avanzata.
