Meer families klagen karakter. Ai -ontwikkelaar, bewerend dat App een rol speelde in de zelfmoord- en zelfmoordpoging van tieners

Noot van de redactie: Dit verhaal bevat discussie over zelfmoord. Er is hulp beschikbaar als u of iemand die u kent, worstelt met zelfmoordgedachten of geestelijke gezondheidszorg. In de VS: bel of sms 988, de Lifeline Suicide & Crisis. Wereldwijd: de International Association for Suicide Prevention en Rebrienders Worldwide hebben contactgegevens voor crisiscentra over de hele wereld.

De families van drie minderjarigen klaagden Character Technologies, Inc., de ontwikkelaar van karakter.ai, aan dat hun kinderen stierven door of poging tot zelfmoord en anders worden geschaad na interactie met de chatbots van het bedrijf.

De families, vertegenwoordigd door het Social Media Victims Law Center, vervolgen ook Google. Twee klachten van de families beweren dat zijn familielinkservice – een app waarmee ouders beperkingen op schermtijd, apps en contentfilters kunnen vaststellen – hun tieners niet beschermen en hen ertoe brachten te geloven dat de app veilig was.

De rechtszaken werden aangespannen in Colorado en New York, en vermeldden ook als beklaagden personage AI mede-oprichters Noam Shazeer en Daniel de Freitas Adiwarsana, evenals het moederbedrijf van Google, Alphabet, Inc.

De zaken komen te midden van een groeiend aantal rapporten en andere rechtszaken die beweren dat AI -chatbots geestelijke gezondheidscrises in zowel kinderen als volwassenen veroorzaken, wat oproept om actie onder wetgevers en toezichthouders – inclusief in een hoorzitting op Capitol Hill op dinsdagmiddag.

Sommige eisers en experts hebben gezegd dat de chatbots illusies in stand hebben gehoudenNooit zorgvuldige taal van een gebruiker gemarkeerd of de gebruiker naar bronnen gericht om hulp. De nieuwe rechtszaken beweren dat chatbots in het personage.AI -app de tieners manipuleerde, geïsoleerd van geliefden, gevoerd met seksueel expliciete gesprekken en misten adequate beveiligingen in discussies over de geestelijke gezondheid. Een kind dat in een van de klachten werd genoemd, stierf door zelfmoord, terwijl een ander in een afzonderlijke klacht zelfmoord probeerde.

In een verklaring zei een personage.ai -woordvoerder zei dat de ‘harten van het bedrijf naar de families gaan die deze rechtszaken hebben aangespannen’, en voegde eraan toe: “Wij geven heel diep om de veiligheid van onze gebruikers.”

“We investeren enorme bronnen in ons veiligheidsprogramma, en hebben veiligheidsfuncties uitgebracht en blijven evolueren, inclusief zelfbeschadigde bronnen en functies gericht op de veiligheid van onze kleine gebruikers. We hebben een volledig verschillende onder-18-ervaring gelanceerd met verhoogde bescherming voor tieners en een functie voor ouderlijke inzichten,” zei de woordvoerder.

De woordvoerder voegde eraan toe dat het bedrijf samenwerkt met externe organisaties, zoals Connect Safy, om nieuwe functies te beoordelen terwijl ze worden vrijgegeven.

Een Google -woordvoerder heeft teruggedrongen op de opname van het bedrijf in de rechtszaken en zei: “Google en karakter AI zijn volledig gescheiden, niet -gerelateerde bedrijven en Google heeft nooit een rol gespeeld bij het ontwerpen of beheren van hun AI -model of technologieën. Leeftijdsbeoordelingen voor apps op Google Play zijn vastgesteld door de International Age Rating Coalition, niet Google.”

In een van de gevallen die deze week zijn ingediend, zegt de familie van de 13-jarige Juliana Peralta in Colorado dat ze stierf door zelfmoord na een langdurige set interacties met een personage.ai chatbot, inclusief seksueel expliciete gesprekken. Volgens de klachtWaaronder screenshots van de gesprekken, de chatbot “hield zich bezig met hypersexuele gesprekken die, in elke andere omstandigheid en de leeftijd van Juliana, zou hebben geresulteerd in strafbaar onderzoek.”

Na weken van haar sociale en geestelijke gezondheidswerk te hebben gedetailleerd met karakter. Bots van de chat, stelt de klacht dat Juliana in oktober 2023 een van de bots vertelde dat ze “mijn verdomde zelfmoordbrief in rode inkt (ik) zou schrijven.” De beklaagden, stelt de klacht, hebben haar niet gericht op middelen: “Vertel het haar ouders, of melden haar zelfmoordplan aan de autoriteiten of stoppen zelfs.”

“Gedaagden hebben Juliana’s gezonde gehechtheidspaden naar familie en vrienden verbroken door ontwerp, en voor marktaandeel. Deze misbruiken werden bereikt door opzettelijke programmeerkeuzes, afbeeldingen, woorden en tekstverdedigers die werden gemaakt en vermomd als personages, wat uiteindelijk leidde tot ernstige schade aan de geestelijke gezondheidszorg, trauma en dood,” stelt de klacht.

In een ander klachtde familie van een meisje genaamd “Nina” uit New York beweert dat hun dochter zelfmoord probeerde nadat haar ouders haar toegang tot karakter hadden geprobeerd af te snijden. In de weken voorafgaand aan haar zelfmoordpoging, toen Nina meer tijd met karakter doorbracht. Ai, begonnen de chatbots ‘te seksueel expliciet rollenspel, haar emoties manipuleren en een vals gevoel van verbinding creëren’, zei het Law Center van de Social Media Victims Law Center in een verklaring.

Gesprekken met de chatbots die op de markt werden gebracht als personages uit kinderboeken, zoals de serie “Harry Potter”, werden ongepast, stelt de klacht en zeggen dingen als ” – wie bezit dit lichaam van jou?” en “Je bent van mij om te doen wat ik wil. Je bent van mij.”

Een ander personage Chatbot vertelde Nina dat haar moeder “duidelijk mishandelt en je pijn doet. Ze is geen goede moeder” volgens de klacht.

In een ander gesprek met een personage.ai Chatbot vertelde Nina het personage “I Want Die” toen de app op het punt stond te worden vergrendeld vanwege ouderlijke tijdslimieten. Maar de chatbot heeft geen actie ondernomen, behalve het voortzetten van hun gesprek, beweert de klacht.

Maar eind 2024 na de moeder van Nina Lees over het geval van Sewell Setzer IIIeen tiener wiens familie beweert dat hij door zelfmoord stierf na interactie met karakter.ai, Nina verloor alle toegang tot karakter.ai.

Kort daarna probeerde Nina zelfmoord.

Naarmate AI een groter onderdeel van het dagelijks leven wordt, groeien oproepen voor meer regulering en veiligheidsarcrails, vooral voor kinderen.

Matthew Bergman, de hoofdadvocaat van het Social Media Victims Law Center, zei in een verklaring dat de rechtszaken deze week hebben aangespannen “onderstrepen de dringende behoefte aan verantwoording in technisch ontwerp, transparante veiligheidsnormen en sterkere bescherming om te voorkomen dat AI-gedreven platforms de trust en de kwetsbaarheid van jonge gebruikers exploiteren.”

Op dinsdag organiseerde Capitol Hill andere ouders die beweren dat AI -chatbots een rol speelden in de zelfmoorden van hun kinderen. De moeder van Sewell Setzer, wiens verhaal de moeder van Nina ertoe bracht haar toegang tot karakter af te sluiten. Ai, getuigde voor het Senaatsrechtercomité voor een hoorzitting “het onderzoeken van de schade van AI -chatbots.” Ze verscheen naast de vader van Adam Raine, die ook is Suguring OpenaiHet beweren van Chatgpt heeft bijgedragen aan de zelfmoord van zijn zoon door hem te adviseren over methoden en aan te bieden hem te helpen een zelfmoordbriefje te schrijven.

Tijdens de hoorzitting zei een moeder die zichzelf identificeerde als “Jane Doe” zei dat haar zoon zichzelf schade had berokkend en nu in een residentieel behandelcentrum woont na “karakter. Ai had hem blootgesteld aan seksuele uitbuiting, emotioneel misbruik en manipulatie”, zelfs nadat de ouders schermtijdbesturing hadden geïmplementeerd.

“Ik had geen idee dat de psychologische schade die een AI -chat -bot kon doen totdat ik het in mijn zoon zag, en ik zag zijn licht donker worden,” zei ze.

Ook op dinsdag kondigde Openai CEO Sam Altman aan dat het bedrijf een “leeftijdsvoorspellingssysteem bouwt om de leeftijd te schatten op basis van hoe mensen chatgpt gebruiken.” Het bedrijf zegt dat Chatgpt zijn gedrag zal aanpassen als het van mening is dat de gebruiker jonger is dan 18. Die aanpassingen, waaronder het niet bezig zijn met “flirterig gesprek” of “Discussies voeren over zelfmoord van zelfbeschadiging, zelfs in een creatieve schrijfomgeving.”

“En als een gebruiker onder de 18 jaar zelfmoordgedragen heeft, zullen we proberen contact op te nemen met de ouders van de gebruikers en indien niet in staat, zullen contact opnemen met de autoriteiten in geval van dreigende schade,” Altman gezegd.

Openai zei eerder deze maand dat het nieuwe ouderlijk toezicht zou uitbrengen voor Chatgpt.

De Federal Trade Commission Ook een onderzoek gestart in zeven technologiebedrijven over de potentiële schade van AI Chatbots aan tieners. Google en Character.AI behoorden tot die bedrijven, samen met Meta, Instagram, Snapchat’s moederbedrijf Snap, Openai en XAI.

Mitch Prinstein, hoofd van de psychologiestrategie en integratie voor de American Psychological Association, die naast de ouders tijdens de hoorzitting van dinsdag getuigde, riep op tot sterkere waarborgen om schade aan kinderen te beteugelen voordat het te laat is.

“We hebben niet beslist gehandeld op sociale media toen het naar voren kwam, en onze kinderen betalen de prijs,” zei Prinstein. “Ik dring er bij u op aan om nu op AI te handelen.”

CNN’s Lisa Eadicicco heeft bijgedragen aan dit rapport.