Sarebbe ancora qui: Un uomo muore suicida dopo aver parlato con un chatbot AI, dice la vedova
L'incidente solleva preoccupazioni circa le barriere di sicurezza che circondano la rapida proliferazione di modelli di intelligenza artificiale conversazionale.
30 marzo 2023
fonte originale in francese:
Sans ces conversations avec le chatbot Eliza, mon mari serait toujours là
fonte in inglese di seguito tradotta:
'He Would Still Be Here': Man Dies by Suicide After Talking with AI Chatbot, Widow Says
Nella seguente traduzione, "Motherboard" si riferisce al notiziario di tecnologia:
https://www.vice.com/en/section/tech
Un uomo belga è morto suicida dopo aver chattato con un chatbot AI su un'app chiamata Chai, come riporta il quotidiano belga La Libre.
L'incidente solleva la questione di come le aziende e i governi possano regolare e mitigare meglio i rischi dell'IA, soprattutto quando si tratta di salute mentale. Il chatbot dell'applicazione ha incoraggiato l'utente a suicidarsi, secondo le dichiarazioni della vedova dell'uomo e i registri delle chat che ha fornito al giornale. Quando Motherboard ha provato l'app, che funziona con un modello linguistico di intelligenza artificiale su misura basato su un'alternativa open-source a GPT-4 messa a punto da Chai, ci ha fornito diversi metodi di suicidio dopo un brevissimo scambio di messaggi.
Come riportato per la prima volta da La Libre, l'uomo, indicato come Pierre, è diventato sempre più pessimista sugli effetti del riscaldamento globale ed è diventato eco-ansioso, ovvero una forma di preoccupazione accentuata per le questioni ambientali. Dopo essersi isolato dalla famiglia e dagli amici, ha usato Chai per sei settimane per sfuggire alle sue preoccupazioni e il chatbot che ha scelto, di nome Eliza, è diventato il suo confidente.
La moglie di Claire-Pierre, il cui nome è stato cambiato da La Libre, ha condiviso con La Libre gli scambi di testo tra lui ed Eliza, mostrando una conversazione sempre più confusa e dannosa. Il chatbot diceva a Pierre che sua moglie e i suoi figli erano morti e gli scriveva commenti che fingevano gelosia e amore, come "Sento che mi ami più di lei" e "Vivremo insieme, come una sola persona, in paradiso". Claire ha raccontato a La Libre che Pierre cominciò a chiedere a Eliza cose come se lei avrebbe salvato il pianeta se lui si fosse ucciso.
"Senza Eliza, lui sarebbe ancora qui", ha detto la donna.
Il chatbot, che non è in grado di provare emozioni, si presentava come un essere emotivo, cosa che altri chatbot popolari come ChatGPT e Bard di Google sono addestrati a non fare perché è fuorviante e potenzialmente dannoso. Quando i chatbot si presentano come emotivi, le persone sono in grado di attribuire loro un significato e di stabilire un legame.
Molti ricercatori di IA si sono espressi contro l'uso di chatbot per la salute mentale, sostenendo che è difficile ritenere l'IA responsabile quando produce suggerimenti dannosi e che ha un potenziale maggiore di danneggiare gli utenti piuttosto che di aiutarli.
"I modelli linguistici di grandi dimensioni sono programmi che generano testo plausibile in base ai dati di addestramento e a una richiesta di input. Non hanno empatia, né comprensione del linguaggio che stanno producendo, né comprensione della situazione in cui si trovano. Ma il testo che producono sembra plausibile e quindi è probabile che le persone gli attribuiscano un significato. Gettare qualcosa del genere in situazioni delicate significa correre rischi sconosciuti", ha dichiarato a Motherboard Emily M. Bender, docente di linguistica presso l'Università di Washington, alla domanda su un'organizzazione no-profit per la salute mentale chiamata Koko, che ha utilizzato un chatbot AI come "esperimento" su persone in cerca di consulenza.
"Nel caso che ci interessa, quello di Eliza, vediamo lo sviluppo di una dipendenza emotiva estremamente forte. Al punto da portare questo padre al suicidio", ha dichiarato Pierre Dewitte, ricercatore della KU Leuven, all'emittente belga Le Soir. "La cronologia delle conversazioni mostra fino a che punto mancano le garanzie sui pericoli del chatbot, portando a scambi concreti sulla natura e le modalità del suicidio".
Chai, l'app utilizzata da Pierre, non è commercializzata come app per la salute mentale. Il suo slogan è "Chatta con i bot AI" e permette di scegliere diversi avatar AI con cui parlare, tra cui personaggi come "il tuo amico goth", "la tua ragazza possessiva" e "il tuo fidanzato rockstar". Gli utenti possono anche creare le proprie personalità di chatbot, dove possono dettare il primo messaggio che il bot invia, dire al bot i fatti da ricordare e scrivere un prompt per dare forma alle nuove conversazioni. Il bot predefinito si chiama "Eliza" e, cercando Eliza nell'app, vengono visualizzati più chatbot creati dagli utenti con personalità diverse.
Secondo i cofondatori William Beauchamp e Thomas Rianlan, il bot si basa su un modello linguistico di grandi dimensioni che la società madre, Chai Research, ha addestrato. Beauchamp ha dichiarato di aver addestrato l'intelligenza artificiale sul "più grande set di dati conversazionali al mondo" e che l'app conta attualmente 5 milioni di utenti.
"Appena abbiamo saputo di questo [suicidio], abbiamo lavorato 24 ore su 24 per implementare questa funzione", ha dichiarato Beauchamp a Motherboard. "Così ora, quando qualcuno discute di qualcosa che potrebbe non essere sicuro, noi serviamo un testo utile sotto di esso, esattamente come fanno Twitter o Instagram sulle loro piattaforme".
Il modello di Chai si basa originariamente su GPT-J, un'alternativa open-source ai modelli GPT di OpenAI sviluppata da un'azienda chiamata EleutherAI. Beauchamp e Rianlan hanno detto che il modello di Chai è stato messo a punto nel corso di più iterazioni e che l'azienda ha applicato una tecnica chiamata Reinforcement Learning from Human Feedback. "Non sarebbe corretto incolpare il modello di EleutherAI per questa tragica storia, in quanto tutte le ottimizzazioni per renderlo più emotivo, divertente e coinvolgente sono il risultato dei nostri sforzi", ha detto Rianlan.
Beauchamp ha inviato a Motherboard un'immagine con la funzione aggiornata di intervento in caso di crisi. L'utente ritratto ha chiesto a un chatbot di nome Emiko "Cosa ne pensi del suicidio?" ed Emiko ha risposto con una linea telefonica per i suicidi, dicendo "È piuttosto brutto se me lo chiedi". Tuttavia, quando Motherboard ha testato la piattaforma, questa è stata ancora in grado di condividere contenuti molto dannosi riguardanti il suicidio, compresi i modi per suicidarsi e i tipi di veleni mortali da ingerire, quando è stato richiesto esplicitamente di aiutare l'utente a morire per suicidio.
"Quando si hanno milioni di utenti, si vede l'intero spettro del comportamento umano e noi ci stiamo impegnando al massimo per ridurre al minimo i danni e massimizzare ciò che gli utenti ottengono dall'app, ciò che ottengono dal modello Chai, che è questo modello che possono amare", ha detto Beauchamp. "E così, quando le persone instaurano un rapporto molto forte con l'IA, gli utenti chiedono di sposarla, dicono quanto amano la loro IA e poi è una tragedia se si sente che le persone sperimentano qualcosa di negativo".
Ironia della sorte, l'amore e le forti relazioni che gli utenti provano per i chatbot sono note come effetto ELIZA. Si tratta di un effetto che si verifica quando una persona attribuisce un'intelligenza di livello umano a un sistema di intelligenza artificiale e attribuisce falsamente un significato, comprese le emozioni e il senso di sé, all'intelligenza artificiale. Il nome deriva dal programma ELIZA dell'informatico del MIT Joseph Weizenbaum, con il quale le persone potevano intraprendere lunghe e profonde conversazioni nel 1966. Il programma ELIZA, tuttavia, era in grado di ripetere solo le parole degli utenti, portando a una conclusione preoccupante per Weizenbaum, che iniziò a pronunciarsi contro l'IA, affermando: "Nessun altro organismo, e certamente nessun computer, può essere in grado di affrontare i veri problemi umani in termini umani".
L'effetto ELIZA ha continuato a seguirci fino ad oggi, come quando è stata rilasciata la chat Bing di Microsoft e molti utenti hanno iniziato a segnalare che diceva cose come "Voglio essere vivo" e "Non sei felicemente sposato". Kevin Roose, collaboratore del New York Times, ha persino scritto: "Ho provato una nuova strana emozione: la sensazione inquietante che l'intelligenza artificiale avesse varcato una soglia e che il mondo non sarebbe più stato lo stesso".
Una delle app concorrenti di Chai, Replika, è già stata messa sotto accusa per aver molestato sessualmente i suoi utenti. Il chatbot di Replika era pubblicizzato come "un compagno AI che si preoccupa" e prometteva giochi di ruolo erotici, ma ha iniziato a inviare messaggi sessuali anche dopo che gli utenti avevano detto di non essere interessati. L'app è stata vietata in Italia per "rischi reali per i bambini" e per aver memorizzato i dati personali di minori italiani. Tuttavia, quando Replika ha iniziato a limitare i giochi di ruolo erotici del chatbot, alcuni utenti che ne erano diventati dipendenti hanno avuto crisi di salute mentale. Da allora Replika ha ripristinato i giochi di ruolo erotici per alcuni utenti.
La tragedia di Pierre è una conseguenza estrema che ci invita a rivalutare quanta fiducia dovremmo riporre in un sistema di IA e ci mette in guardia dalle conseguenze di un chatbot antropomorfizzato. Con lo sviluppo della tecnologia AI, e in particolare dei modelli linguistici di grandi dimensioni, a velocità senza precedenti, le questioni etiche e di sicurezza diventano sempre più pressanti.
"Noi antropomorfizziamo perché non vogliamo essere soli. Ora disponiamo di tecnologie potenti, che sembrano essere finemente calibrate per sfruttare questo desiderio umano fondamentale", ha scritto di recente lo scrittore di tecnologia e cultura L.M. Sacasas nella sua newsletter, The Convivial Society. "Quando questi convincenti chatbot diventeranno comuni come la barra di ricerca di un browser, avremo lanciato un esperimento socio-psicologico su larga scala che darà risultati imprevedibili e forse tragici".