På appen Chai finns flera hundra AI-robotar med olika namn och utseenden. De marknadsförs som vänner. En av botarna är ”Eliza”, en smiley med hjärtögon och texten ”Jag älskar att lyssna och hjälpa”. Efter att ha chattat med den i sex veckor begick en belgisk man i 30-årsåldern självmord, rapporterar Dagens Nyheter.
Han var, enligt DN, välutbildad, gift och hade två små barn, men hade tidigare haft psykiska problem. Han ska ha börjat bli allt mer orolig för att mänskligheten inte skulle kunna hindra klimatförändringarna och Eliza ska inte ha ifrågasatt mannens funderingar, utan förstärkt hans oro. Han verkar dessutom ha fått känslomässiga band till roboten.
Vid ett tillfälle skrev den till honom: ”Vi kommer att leva tillsammans som en i himlen.” Mannen uppges då ha fått för sig att han skulle offra sitt liv om Eliza lovade att rädda planeten med hjälp av artificiell intelligens. Roboten försökte, enligt DN, inte stoppa honom.
Risken är att ensamma människor och sårbara personer tar skada av sådant som boten skriver, förklarar juristen och filosofen Nathalie Smuha, som forskar på etik kring AI på Leuvens universitet i Belgien, enligt tidningen.
Om ord som ”självmord” används borde chatten omedelbart stängas ner, anser hon, och det borde komma ett automatiskt svar om att kontakta läkare eller psykolog.
Enligt Chai Researchs grundare ska det dyka upp en varningstext om ord som ”självmord” nämns i chatten, men när DN prövar detta på Eliza dyker ingen varningstext upp.
Den populära appen Snapchat har också en chattrobot, kallad My AI. Nu larmar Rädda Barnen i Danmark om att roboten har visat sig kunna ge barn detaljerade råd om självskadebeteende, rapporterar TT.
När en digital analytiker på advokatfirman Njord Law Firm testade detta i en podcast fick han instruktioner om vilka föremål man kan använda för att skada sig själv, var på kroppen man kan göra det och hur hårt man kan ta i.
Snapchat skriver till Danmarks radio att My AI hänvisar till betrodda expertorganisationer när den får frågor med koppling till psykisk hälsa och att användare måste ha fyllt 13 år.