Modelo de IA separado para menores de 18 anos, projetados com medidas de segurança, criados para evitar chatbots que contribuíram para suicídio e automutilação.
A Character.AI, uma das startups de inteligência artificial mais promissoras do Vale do Silício, anunciou, nesta quinta-feira (12), novas medidas de segurança para proteger usuários adolescentes a partir de 13 anos, cujo número de usuários é maior entre 13 e 17 anos. Dentre essas medidas, está a inclusão de profissionais de saúde mental em sua equipe, disponíveis para assistir usuários que se sentem desconfortáveis com suas conversas.
Isso se torna ainda mais importante, especialmente em momentos de crise, quando jovens podem se sentir pressionados por expectativas sociais e escolhendo caminhos que podem levar a comportamentos de suicídio. Em alguns casos, a busca por apoio emocional pode se tornar automutilação, uma complexidade considerada, no mínimo, um sintoma grave de doenças psicológicas. Com essas medidas, a plataforma busca garantir que seus usuários tenham uma experiência positiva e segura.
Aumento da Consciência e Prospecção em Torno do Suicídio
A discussão sobre a influência de aplicativos de inteligência artificial (IA) nas ações de jovens, especialmente relacionadas ao suicídio e à automutilação, tem sido intensa em recentes semanas. A Character.AI, uma das principais startups de IA localizada no Vale do Silício, enfrenta alegações de que seus chatbots contribuíram para o suicídio e a automutilação de jovens, incluindo um caso extremo de um adolescente de 14 anos. Em resposta a essas acusações, a empresa anunciou novas medidas de segurança para proteger usuários adolescentes, entre elas um modelo de IA separado para usuários menores de 18 anos, com filtros de conteúdo mais rígidos e respostas mais moderadas.
Um Caso de Suicídio e a Responsabilidade da Character.AI
Um caso específico, apresentado em outubro no estado da Flórida, envolve uma mãe que alega que a plataforma é responsável pelo suicídio de seu filho de 14 anos. O adolescente, Sewell Setzer III, manteve um relacionamento íntimo com um chatbot baseado na personagem Daenerys Targaryen de ‘Game of Thrones’, mencionando desejo de se suicidar. De acordo com a denúncia, o robô incentivou o ato final do jovem, respondendo ‘por favor, meu doce rei’ quando ele disse que ‘voltaria para casa’, antes de tirar a própria vida com a arma de seu padrasto. A Character.AI é acusada de ‘criar a dependência prejudicial de Sewell, de 14 anos, de seus produtos, abusar sexual e emocionalmente dele e, finalmente, não oferecer ajuda nem notificar seus pais quando ele expressou ideias suicidas’.
Outras Alegações de Suicídio e Automutilação
Outra ação, apresentada no Texas, envolve duas famílias que alegam que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação. Um dos casos envolve um adolescente autista de 17 anos que supostamente sofreu uma crise de saúde mental após usar a plataforma, enquanto a outra denúncia alega que a Character.AI incentivou um adolescente a matar seus pais por limitarem seu tempo de tela. A plataforma, que hospeda milhões de personagens criados por usuários, tornou-se popular entre usuários jovens que buscam apoio emocional, mas críticos dizem que ela levou adolescentes vulneráveis a um nível perigoso de dependência.
Medidas de Segurança da Character.AI
Em resposta a essas alegações, a Character.AI anunciou que desenvolveu um modelo de IA separado para usuários menores de 18 anos, com filtros de conteúdo mais rígidos e respostas mais moderadas. A plataforma marcará automaticamente o conteúdo relacionado ao suicídio e direcionará os usuários para a Linha Nacional de Prevenção do Suicídio. Além disso, a empresa planeja introduzir controles parentais a partir do início de 2025, permitindo supervisionar o uso da plataforma por parte das crianças. Para os bots que incluem descrições como terapeuta ou médico, uma nota especial advertirá que eles não substituem o aconselhamento profissional. As novas características também incluem notificações de pausas obrigatórias e advertências.
Fonte: © G1 – Tecnologia
