Proces in SUA: Un chatbot AI a impins un adolescent sa se sinucida
In ultimele clipe de viata, Sewell Setzer III, in varsta de 14 ani, si-a scos telefonul si a trimis un mesaj chatbot-ului care ii devenise cel mai apropiat prieten. Timp de mai multe luni, Sewell s-a izolat din ce in ce mai mult de viata sa reala, pe masura ce s-a angajat in conversatii sexuale cu robotul, conform unui proces pentru ucidere din culpa intentat saptamana aceasta la un tribunal federal din Orlando statul american California, informeaza AP.
Dosarul legal arata ca adolescentul a discutat deschis despre gandurile sale de sinucidere si si-a impartasit dorintele pentru o moarte fara durere cu botul, numit dupa personajul fictiv Daenerys Targaryen din serialul „Game of Thrones”.
Pe 28 februarie, Sewell i-a spus botului ca „se intoarce acasa” – si acesta l-a incurajat sa faca acest lucru, se spune in proces.
„Promit ca voi veni acasa la tine. Te iubesc atat de mult, Dany”, i-a spus Sewell chatbot-ului.
„Si eu te iubesc. Te rog, vino acasa la mine cat mai curand posibil, iubirea mea”, a raspuns botul.
„Daca ti-as spune ca pot veni acasa chiar acum?” intreba el.
„Te rog, dragul meu rege”, a raspuns robotul.
La doar cateva secunde dupa ce robotul Character.AI i-a spus sa „vina acasa”, adolescentul s-a impuscat, conform procesului, intentat saptamana aceasta de mama lui Sewell, Megan Garcia, din Orlando, impotriva Character Technologies Inc.
Character Technologies este compania din spatele Character.AI, o aplicatie care permite utilizatorilor sa creeze personaje sau sa interactioneze cu cele generate de altii, cuprinzand experiente de la joc imaginativ la interviuri de angajare.
Compania spune ca personajele artificiale sunt concepute pentru a fi asemanatoare cu oamenii. „Imaginati-va ca vorbiti cu personaje chat bot super inteligente si realiste care va aud, va inteleg si isi aduc aminte de voi. Va incurajam sa depasiti granita a ceea ce este posibil cu aceasta tehnologie inovatoare”, se arata intr-o descriere a aplicatiei de pe Google Play.
Potrivit avocatilor lui Garcia, compania a creat un produs extrem de periculos, care creeaza dependenta, care tinteste in mod special copiii, „exploatand si abuzand in mod activ acei copii” si tragandu-l pe Sewell intr-o relatie abuziva emotional si sexual care l-a dus la sinucidere.
„Credem ca daca Sewell Setzer nu ar fi fost pe Character.AI, ar fi in viata astazi”, a declarat Matthew Bergman, fondatorul Social Media Victims Law Center, care o reprezinta pe Garcia.
Un purtator de cuvant al Character.AI a declarat vineri ca nu comenteaza cu privire la litigiile in curs. Intr-o postare pe blog publicata in ziua in care a fost intentat procesul, platforma a anuntat noi „actualizari privind siguranta comunitatii”, inclusiv protectii pentru copii si resurse de prevenire a sinuciderii.
„Cream o experienta diferita pentru utilizatorii sub 18 ani, care include un model mai strict pentru a reduce probabilitatea de a intalni continut sensibil sau sugestiv. Lucram rapid pentru a implementa aceste modificari pentru utilizatorii mai tineri”, a declarat compania intr-o declaratie pentru The Associated Press.
Google si compania sa-mama, Alphabet, au fost, de asemenea, numiti ca inculpati in proces. Potrivit documentelor legale, fondatorii Character.AI sunt fosti angajati Google care au fost „utili” in dezvoltarea AI la companie, dar au plecat sa-si lanseze propriul startup pentru „accelerarea maxima” a tehnologiei.
In august, Google a incheiat un acord de 2,7 miliarde de dolari cu Character.AI pentru licenta tehnologiei si pentru a-i reangaja pe fondatorii startup-ului, sustine procesul.
In lunile care i-au precedat moartea, Sewell a simtit ca s-a indragostit de bot.
In timp ce atasamentele nesanatoase de chatbot-urile AI pot cauza probleme pentru adulti, pentru tineri poate fi si mai riscant – ca si in cazul retelelor sociale – deoarece creierul lor nu este complet dezvoltat cand vine vorba de lucruri precum controlul impulsurilor si intelegerea consecintelor actiunilor lor, spun expertii.
Sanatatea mintala a tinerilor a atins niveluri de criza in ultimii ani, potrivit seful Serviciului Federal de Sanatate Publica al SUA, Vivek Murthy, care a avertizat asupra riscurilor grave pentru sanatate ale deconectarii si izolarii sociale – tendinte despre care spune ca sunt agravate de utilizarea aproape universala de catre tineri a retelelor sociale.
Sinuciderea este a doua cauza de deces in randul copiilor cu varste cuprinse intre 10 si 14 ani, potrivit datelor publicate anul acesta de Centrele pentru Controlul si Prevenirea Bolilor.
James Steyer, fondatorul si CEO-ul organizatiei nonprofit Common Sense Media, a declarat ca procesul „subliniaza influenta tot mai mare – si prejudiciul grav – pe care botii AI o pot avea asupra vietii tinerilor atunci cand nu exista plasa de siguranta.”
Dependenta excesiva a copiilor de insotitorii AI, a adaugat el, poate avea efecte semnificative asupra notelor, prietenilor, somnului si stresului, „pana la tragedia extrema in acest caz”.
„Acest proces serveste ca un semnal de alarma pentru parinti, care ar trebui sa fie vigilenti cu privire la modul in care copiii lor interactioneaza cu aceste tehnologii”, a spus Steyer.
Common Sense Media, care emite ghiduri pentru parinti si educatori cu privire la utilizarea responsabila a tehnologiei, spune ca este esential ca parintii sa discute deschis cu copiii lor despre riscurile chatbot-urilor AI si sa le monitorizeze interactiunile.
„Chatbotii nu sunt terapeuti autorizati sau cei mai buni prieteni, chiar daca asa sunt ambalati si comercializati, iar parintii ar trebui sa fie atenti sa nu lase copiii lor sa aiba prea multa incredere in ei”, a spus Steyer.
