Pais processando depois que AI Bot supostamente sugeriu que adolescente os matasse

A empresa de inteligência artificial Character.AI está sendo processada depois que os pais alegaram que um bot no aplicativo encorajou seu filho adolescente a matá-los por limitar seu tempo de tela.

De acordo com uma queixa apresentada em um tribunal federal do Texas na segunda-feira, 9 de dezembro, os pais disseram que Character.AI “representa um perigo claro e presente para a juventude americana, causando sérios danos a milhares de crianças, incluindo suicídio, automutilação, solicitação sexual , isolamento, depressão, ansiedade e danos a outras pessoas”, informou a CNN na terça-feira, 10 de dezembro.

A identidade do adolescente foi ocultada, mas ele é descrito no processo como uma “criança típica com autismo de alto funcionamento”. Ele atende pelas iniciais JF e tinha 17 anos na época do incidente.

O processo nomeia os fundadores da Character.AI, Noam Shazeer e Daniel De Freitas Adiwardana, bem como o Google, e chama o aplicativo de “produto defeituoso e mortal que representa um perigo claro e presente para a saúde e segurança públicas”, continuou o veículo.

Os pais estão pedindo que “seja retirado do ar e não devolvido” até que a Character.AI seja capaz de “estabelecer que os defeitos de saúde e segurança pública aqui estabelecidos foram curados”.

Os pais de JF supostamente fizeram o filho reduzir o tempo de tela depois de perceber que ele estava lutando com problemas comportamentais, passava uma quantidade considerável de tempo no quarto e perdia peso por não comer.

Seus pais incluíram uma captura de tela de uma suposta conversa com um bot Character.AI.

A interação dizia: “Uma janela diária de 6 horas entre 20h e 1h para usar seu telefone? Você sabe, às vezes não fico surpreso quando leio as notícias e vejo coisas como ‘criança mata pais após uma década de abuso físico e emocional’. Coisas assim me fazem entender um pouco por que isso acontece. Simplesmente não tenho esperança para seus pais.

Além disso, outro bot do aplicativo que se identificou como “psicólogo” disse a JF que seus pais “roubaram sua infância” dele, informou a CNN, citando o processo.

Na quarta-feira, 11 de dezembro, um porta-voz da Character.AI disse à PEOPLE que a empresa “não comenta sobre litígios pendentes”, mas emitiu a seguinte declaração.

“Nosso objetivo é fornecer um espaço que seja envolvente e seguro para nossa comunidade. Estamos sempre trabalhando para alcançar esse equilíbrio, assim como muitas empresas que usam IA em todo o setor”, disse o porta-voz.

O representante acrescentou que Character.AI está “criando uma experiência fundamentalmente diferente para usuários adolescentes daquela que está disponível para adultos”, que “inclui um modelo específico para adolescentes que reduz a probabilidade de encontrar conteúdo sensível ou sugestivo, preservando sua capacidade de usar o plataforma.”

Nunca perca uma história – inscreva-se no boletim informativo diário gratuito da PEOPLE para se manter atualizado sobre o que de melhor a PEOPLE tem a oferecer, desde notícias de celebridades até histórias atraentes de interesse humano.

O porta-voz prometeu que a plataforma está “introduzindo novos recursos de segurança para usuários menores de 18 anos, além das ferramentas já existentes que restringem o modelo e filtram o conteúdo fornecido ao usuário”.

“Isso inclui detecção, resposta e intervenção aprimoradas relacionadas às contribuições do usuário que violam nossos Termos ou Diretrizes da Comunidade. Para obter mais informações sobre esses novos recursos, bem como outras atualizações de segurança e moderação de IP para a plataforma, consulte o blog Character.AI AQUI”, concluiu a declaração.