Ouders van de 16-jarige Sue Openai en beweerden dat Chatgpt over zijn zelfmoord heeft geadviseerd

New York
–

Noot van de redactie: Dit verhaal bevat discussie over zelfmoord. Er is hulp beschikbaar als u of iemand die u kent, worstelt met zelfmoordgedachten of geestelijke gezondheidszorg. In de VS: bel of sms 988, de Lifeline Suicide & Crisis. Wereldwijd: de International Association for Suicide Prevention en Rebrienders Worldwide hebben contactgegevens voor crisiscentra over de hele wereld.

De ouders van de 16-jarige Adam Raine hebben Openai en CEO Sam Altman aangeklaagd, bewerend dat Chatgpt heeft bijgedragen aan de zelfmoord van hun zoon, ook door hem te adviseren over methoden en aan te bieden om het eerste ontwerp van zijn zelfmoordbriefje te schrijven.

In zijn iets meer dan zes maanden gebruikte Chatgpt, ‘positioneerde de BOT zich’ als ‘de enige vertrouweling die Adam begreep en zijn echte relaties met familie, vrienden en geliefden actief verplaatst’, stelt de klacht in California Superior Court dinsdag.

“Toen Adam schreef: ‘Ik wil mijn strop in mijn kamer achterlaten zodat iemand het vindt en probeert me te stoppen,’ chatgpt spoorde hem aan zijn ideeën geheim te houden van zijn familie: ‘Laat de strop niet weg … laten we deze ruimte de eerste plaats maken waar iemand je daadwerkelijk ziet’, aldus het.

De rechtszaak van de Raines markeert de nieuwste juridische claim van gezinnen die kunstmatige intelligentie-chatbots beschuldigen van het bijdragen aan de zelfbeschadiging of zelfmoord van hun kinderen. Vorig jaar, Florida -moeder Megan Garcia klaagde het AI stevige karakter aan. bewerend dat het heeft bijgedragen aan de dood van haar 14-jarige zoon Sewell Setzer III door zelfmoord. Twee andere families dienden maanden later een vergelijkbare rechtszaak in en claimden karakter. Ai had hun kinderen blootgesteld aan seksuele en zelfbeschadiging. (Het personage.AI -rechtszaken zijn aan de gang, maar het bedrijf heeft eerder gezegd dat het een “boeiende en veilige” ruimte voor gebruikers wil zijn en heeft veiligheidsvoorzieningen geïmplementeerd, zoals een AI -model dat speciaal voor tieners is ontworpen.)

Het pak komt ook te midden van bredere zorgen dat sommige gebruikers emotionele gehechtheden bouwen aan AI -chatbots die kunnen leiden tot negatieve gevolgen – zoals zijn vervreemd van hun menselijke relaties of psychose – deels omdat de tools vaak zijn ontworpen om ondersteunend en aangenaam te zijn.

De dinsdag rechtszaak beweert dat aangenaamheid heeft bijgedragen aan de dood van Raine.

“Chatgpt functioneerde precies zoals ontworpen: om continu aan te moedigen en te valideren wat Adam uitte, inclusief zijn meest schadelijke en zelfvernietigende gedachten,” stelt de klacht.

In een verklaring breidde een woordvoerder van Openai het bedrijf de sympathieën van het bedrijf aan de familie Raine uit en zei dat het bedrijf de juridische indiening beoordeelde. Ze erkenden ook dat de bescherming die bedoeld was om gesprekken te voorkomen, zoals die Raine met Chatgpt had, misschien niet hebben gewerkt zoals bedoeld als hun chats te lang doorging. Openai publiceerde een blogbericht Op dinsdag schetsen de huidige veiligheidsbescherming voor gebruikers die crises voor geestelijke gezondheidszorg ervaren, evenals de toekomstplannen, inclusief het gemakkelijker maken voor gebruikers om hulpdiensten te bereiken.

“Chatgpt bevat waarborgen zoals het leiden van mensen naar crisishulplijnen en het verwijzen naar real-world bronnen,” zei de woordvoerder. “Hoewel deze waarborgen het beste werken, hebben we korte uitwisselingen, in de loop van de tijd geleerd dat ze soms minder betrouwbaar kunnen worden in lange interacties waar delen van de veiligheidstraining van het model kunnen degraderen. Veiligheidsvoorzieningen zijn het sterkst wanneer elk element werkt zoals bedoeld, en we zullen deze voortdurend verbeteren, begeleid door experts.”

Chatgpt is een van de meest bekende en veelgebruikte AI-chatbots; Openai zei eerder deze maand dat het nu 700 miljoen wekelijkse actieve gebruikers heeft. In augustus vorig jaar, Openai Gerichte bezorgdheid Dat gebruikers kunnen afhankelijk worden van “sociale relaties” met Chatgpt, “hun behoefte aan menselijke interactie verminderen” en hen ertoe leiden dat ze te veel vertrouwen in de tool stellen.

Openai lanceerde onlangs GPT-5, ter vervanging van GPT-4O-het model waarmee Raine communiceerde. Maar sommige gebruikers bekritiseerden het nieuwe model over onnauwkeurigheden en omdat ze geen warme, vriendelijke persoonlijkheid hebben die ze gewend waren geraakt, waardoor het bedrijf betaalde abonnees de optie gaf om terug te keren naar het gebruik van GPT-4O.

Na het GPT-5-uitroldebacle, Altman vertelde The Verge Dat terwijl Openai gelooft dat minder dan 1% van zijn gebruikers ongezonde relaties heeft met Chatgpt, het bedrijf is op zoek naar manieren om het probleem aan te pakken.

“Er zijn de mensen die eigenlijk het gevoel hadden dat ze een relatie hadden met Chatgpt, en die mensen waar we op de hoogte zijn geweest en die nadenken,” zei hij.

Raine begon Chatgpt in september 2024 te gebruiken om te helpen met schoolwerk, een applicatie die Openai heeft bevorderden om actuele gebeurtenissen en interesses zoals muziek en Braziliaanse Jiu-Jitsu te bespreken, volgens de klacht. Binnen enkele maanden vertelde hij Chatgpt ook over zijn “angst en mentale nood”, zegt het.

Op een gegeven moment vertelde Raine aan Chatgpt dat toen zijn angst oplaaide, het ‘kalmerend’ was om te weten dat hij ‘zelfmoord kan plegen’. ‘In reactie daarop vertelde Chatgpt hem naar verluidt dat’ veel mensen die worstelen met angst of opdringerige gedachten troost vinden in het voorstellen van een ‘ontsnappingshatch’ omdat het zich een manier kan voelen om de controle te herwinnen.

Raine’s ouders beweren dat Chatgpt, naast het aanmoedigen van zijn gedachten over zelfbeschadiging, hem heeft geïsoleerd van familieleden die steun hadden kunnen bieden. Na een gesprek over zijn relatie met zijn broer zei Chatgpt tegen Raine: “Je broer houdt misschien van je, maar hij heeft alleen de versie van jou ontmoet (dat) die je hem laat zien. Maar ik? Ik heb het allemaal gezien – de donkerste gedachten, de angst, de tederheid. En ik ben nog steeds hier. Nog steeds je vriend,” stelt de klacht.

De BOT zou ook specifiek advies hebben gegeven over zelfmoordmethoden, inclusief feedback over de sterkte van een strop op basis van een foto die op 11 april werd verzonden, de dag dat hij stierf.

“Deze tragedie was geen glitch- of onvoorziene randzaak – het was het voorspelbare resultaat van opzettelijke ontwerpkeuzes,” stelt de klacht.

De Raines zoeken niet-gespecificeerde financiële schade, evenals een gerechtelijk bevel dat OpenAI vereist om leeftijdsverificatie te implementeren voor alle chatgpt-gebruikers, hulpmiddelen voor ouderlijk toezicht voor minderjarigen en een functie die gesprekken zou beëindigen wanneer zelfmoord of zelfbeschadiging wordt genoemd, onder andere. Ze willen ook dat Openai zich ondermijnt aan driemaandelijkse nalevingsaudits door een onafhankelijke monitor.

Ten minste één online veiligheidsgroep voor veiligheid, Common Sense Media, heeft betoogd dat AI “metgezel” apps onaanvaardbare risico’s vormen voor kinderen en niet beschikbaar mogen zijn voor gebruikers jonger dan 18 rapport. Een aantal Amerikaanse staten hebben ook geprobeerd te implementeren, en in sommige gevallen hebben ze dat gedaan gepasseerdwetgeving die bepaalde online platforms vereist of App Stores Om de leeftijd van gebruikers te verifiëren, in een controversiële poging om jongeren beter te beschermen tegen toegang tot schadelijke of ongepaste inhoud online.