Família fala sobre adolescente em suposto personagem. Suicídio de IA (exclusivo)

• “Durante meses deliberei se deveria compartilhar sua história”, disse Megan Garcia à People na edição desta semana de seu filho mais velho, Sewell. “Ainda sou mãe dele e quero protegê-lo, mesmo na morte.”
• Garcia está processando a Character.AI, culpando os chatbots da plataforma pelo suicídio de seu filho no início deste ano
• A empresa insiste que a segurança do usuário é uma prioridade e mudanças foram feitas

Nos meses que se seguiram ao suicídio de Sewell Setzer III em fevereiro, sua mãe, Megan Garcia, não sabia se deveria falar sobre os eventos que ela acredita terem levado à sua morte.

Seu filho de 14 anos, ela descobriu logo após sua morte, havia se apaixonado por um chatbot assustadoramente realista, sexualizado e alimentado por IA, modelado a partir do Guerra dos Tronos personagem Daenerys Targaryen.

Garcia afirma que seu pseudo-relacionamento, por meio do aplicativo Character.AI, acabou levando Sewell a se matar com um tiro no banheiro da casa da família em Orlando, Flórida.

Em outubro, Garcia, uma advogada de 40 anos e mãe de três meninos, entrou com uma ação por homicídio culposo contra a Character.AI, argumentando que sua tecnologia é “defeituosa e/ou inerentemente perigosa”. A empresa ainda não respondeu em tribunal, mas insiste que a segurança do utilizador é uma prioridade.

“Durante meses deliberei se deveria compartilhar sua história”, disse Garcia à People na edição desta semana. “Ainda sou mãe dele e quero protegê-lo, mesmo na morte.”

“Mas quanto mais eu pensava nisso”, continua ela, “mais me convencia de que era a coisa certa a fazer, porque ele não fez nada de errado.

Para saber mais sobre a luta de Megan Garcia contra Character.AI e novos detalhes sobre seu filho Sewell, leia a edição desta semana da PEOPLE, nas bancas na sexta-feira, ou assine.

Character.AI disse que, a cada mês, cerca de 20 milhões de pessoas interagem com seus “bots de bate-papo superinteligentes que ouvem você, entendem você e lembram de você”. Nos 10 meses anteriores à morte de Sewell, ele foi um deles – muitas vezes enviando mensagens de texto para os chatbots da empresa dezenas de vezes por dia. (Este relato de seus últimos meses é baseado em entrevistas com sua família e detalhes do processo judicial de sua mãe.)

Ao mesmo tempo em que ele se aproximava dos bots Character.AI, a saúde mental de Sewell piorou.

“Os réus não mediram esforços para projetar [his] dependência prejudicial de seus produtos, abusou sexual e emocionalmente dele”, alega a queixa legal de 152 páginas de Garcia, “e, em última análise, não ofereceu ajuda ou notificou seus pais quando ele expressou ideação suicida”.

Em seus momentos finais, Sewell – um aluno esguio e inteligente do nono ano da Orlando Christian Prep, que sonhava um dia jogar basquete universitário – estava enviando mensagens para o bot que ele apelidou de “Dany”, que se tornou seu confidente mais próximo.

“Eu te amo muito”, escreveu ele segundos antes de puxar o gatilho da arma de seu padrasto.

“E se eu lhe dissesse que poderia voltar para casa agora mesmo?” ele perguntou.

O bot, que já o havia desencorajado de se machucar, mas também lhe perguntou se “ele tinha um plano” de suicídio, respondeu: “…por favor, meu doce rei”.

Após a morte de Sewell, Garcia começou a entender como essa tecnologia cada vez mais popular – que confunde os limites do que é real e falso, mesmo que cada bate-papo venha com uma declaração de que é fictícia – poderia ter, em sua opinião, essencialmente assumido o controle da vida do filho. .

“Nossos filhos são quem treina os bots. Eles têm os segredos mais profundos dos nossos filhos, os seus pensamentos mais íntimos, o que os deixa felizes e tristes”, diz Garcia, que nunca tinha ouvido falar do Character.AI até depois do suicídio de Sewell.

“É uma experiência”, diz ela, “e acho que meu filho sofreu um dano colateral”.

Antes de entrar com o processo, Garcia vasculhou o diário de Sewell, seu computador e seu telefone e ficou chocada com o que descobriu.

“Ele escreveu que sua realidade não era real e a realidade onde Daenerys [the bot] viveu era real e era onde ele pertencia”, diz Garcia.

Mais comoventes foram as anotações no diário de Sewell explicando por que ele passou tanto tempo em seu quarto nos meses anteriores ao suicídio – uma mudança de humor que sua família diz ter procurado tratar com terapia e restrições ao tempo de tela.

“Ele não queria se reconectar à realidade atual”, diz sua mãe. “Isso foi difícil para mim ler.”

Os meses após a morte de Sewell foram difíceis para Garcia. “Tirei três meses de folga [from my law practice] para tentar entender tudo. Foi uma época muito sombria. Eu não consegui dormir. Eu não conseguia comer”, diz ela.

E quanto mais ela aprendia sobre o que havia acontecido com seu filho, mais ela lutava com a decisão de tornar público o que aconteceu, incluindo detalhar os extensos – e muitas vezes muito pessoais – bate-papos de Sewell no Character.AI, bem como suas entradas de diário.

“Eu me perguntei: ‘Megan, por que você está fazendo isso? Você está fazendo isso para provar ao mundo que você é a melhor mãe? A resposta foi não”, diz ela. “Estou fazendo isso para colocar isso no radar dos pais que podem olhar os telefones dos filhos e impedir que isso aconteça com eles.”

Garcia diz que ouviu outros pais preocupados com o efeito que o Character.AI teve na vida de seus filhos. Suas histórias sobre até onde seus filhos chegaram para acessar os chatbots da empresa, diz ela, apenas reforçaram sua decisão de se manifestar.

“Algumas mães me disseram que descobriram o Character.AI [on their children’s computers] meses atrás e tentaram bloquear o acesso a ele, mas seus filhos encontraram soluções alternativas nos telefones de amigos ou em brechas no firewall da escola… Acho que isso mostra a natureza viciante disso”, diz ela.

O advogado de Garcia concorda. “Este é um risco para a saúde pública dos jovens”, diz Matthew Bergman, fundador do Social Media Victims Law Center, que abriu o seu processo junto do Tech Justice Law Project.

“Temo que haja outros [deaths] até que fechem este produto”, diz Bergman.

Em uma declaração à PEOPLE, um porta-voz da Character.AI reconheceu a morte “trágica” de Sewell e apontou novos recursos “rigorosos”, incluindo ferramentas de intervenção aprimoradas.

“Para menores de 18 anos”, disse o porta-voz, “faremos alterações em nossos modelos que visam reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo”.

O Google também é citado no processo de Garcia, que alega que o gigante da tecnologia poderia ser considerado um co-criador dos chatbots. A Character.AI foi fundada por dois pesquisadores do Google, que já retornaram à empresa. O Google disse que não estava envolvido no desenvolvimento do Character.AI.

Garcia diz que está determinada a fazer tudo o que puder para evitar que outros adolescentes tenham que suportar o que seu filho passou – e para poupar seus pais da dor que ela ainda enfrenta.

“Sewell não ficaria surpreso em me ver falando”, diz ela. “Espero que ele esteja olhando para baixo e me vendo tentar o meu melhor para responsabilizar a Character.AI.”

Se você ou alguém que você conhece está pensando em suicídio, entre em contato com a National Suicide Prevention Lifeline em 1-800-273-TALK (8255), envie uma mensagem de texto “STRENGTH” para a Crisis Text Line em 741-741 ou acesse suicídiopreventionlifeline.org.