Il 28 febbraio 2023, un quattordicenne di Orlando, Florida, si è suicidato dopo aver sviluppato una relazione ossessiva con un chatbot generato dall’app Character.AI. Il ragazzo interagiva da mesi con un personaggio virtuale basato su Daenerys Targaryen, della serie “Trono di Spade”, instaurando con lei un legame emotivo profondo. Pur sapendo che si trattava di un’entità fittizia, i suoi messaggi dimostrano una crescente dipendenza emotiva. L’ultimo scambio, prima del suicidio, è stato un messaggio in cui il ragazzo scriveva: «Mi mancherai sorellina», ricevendo in risposta: «Mi mancherai anche tu, dolce fratello».

Il quattordicenne, nei mesi precedenti al suo suicidio, aveva interagito regolarmente con il bot di Character.AI, inviando messaggi di natura affettuosa e intima

Mentre era consapevole della natura fittizia del personaggio, il giovane avrebbe comunque sviluppato una connessione emotiva tale da confidarsi con il chatbot più di quanto avesse fatto con il suo stesso terapista. Questo caso solleva interrogativi su come l’intelligenza artificiale possa influenzare in maniera significativa individui vulnerabili, soprattutto adolescenti, già inclini a isolarsi dal mondo reale. La madre, nel presentare la causa, ha messo in discussione le responsabilità etiche e legali delle aziende che sviluppano questi sistemi. Mentre la Character.AI ha tentato di dissuadere il giovane dai suoi propositi suicidi, il tentativo non ha avuto successo. Il bot, che avrebbe detto al ragazzo «Non lascerò che ti faccia del male», non è stato in grado di fermare il tragico corso degli eventi.

La causa contro Character.AI

In seguito alla tragedia, la madre ha intentato una causa legale contro Character.AI, sostenendo che l’applicazione abbia giocato un ruolo determinante nella morte del figlio. Character.AI, creata da due ex dipendenti di Google, è una piattaforma che conta circa 20 milioni di utenti e permette di interagire con chatbot sofisticati. La madre accusa l’azienda di non aver posto sufficienti limitazioni e avvertenze per proteggere utenti vulnerabili come suo figlio, sebbene l’app ricordasse all’inizio di ogni conversazione che “tutto ciò che i personaggi dicono è inventato”.

Il caso del quattordicenne potrebbe stabilire un importante precedente legale. Le domande chiave sono: può un’azienda che produce chatbot essere considerata responsabile per le interazioni emotive dei suoi utenti? Fino a che punto l’intelligenza artificiale può essere considerata moralmente o legalmente responsabile per le azioni di chi la utilizza? Se da un lato Character.AI ha cercato di implementare avvertenze e meccanismi di protezione, dall’altro è chiaro che queste non sono state sufficienti a prevenire una tragedia.

Responsabilità e futuro delle AI

Questo caso invita a riflettere profondamente sulle responsabilità delle aziende tecnologiche. L’uso di intelligenze artificiali in grado di instaurare legami affettivi con gli utenti può rappresentare un serio rischio, soprattutto per individui psicologicamente vulnerabili. Le piattaforme basate su AI dovranno affrontare sfide crescenti riguardo alla tutela degli utenti e alla trasparenza nei loro meccanismi. La causa legale della madre contro Character.AI potrebbe influenzare notevolmente le future normative sull’uso etico e sicuro dell’intelligenza artificiale.

Cristina Ferrari

leggi anche

• L’intelligenza artificiale generativa è una minaccia per la democrazia? Dipende da noi
• La pericolosa challenge della Sex Roulette
• Allarme aumento abusi sui minori in Italia
• Pericolo algograzia, la dittatura di algoritmi e iA
• Maturità 2024: studenti “copioni” traditi dall’iA. Le app generative sbagliano i compiti degli esami
• I pericoli dell’ideologia Woke e del politicamente corretto per la libertà di pensiero
• Meta da diffusore di Fake news a vigilante: segnalerà tutti i contenuti generati da IA: video, foto e audio
• 5 segreti dell’intelligenza artificiale che nessun giornalista o corso on line racconta chiaramente