Superficialmente, parece óbvio que treinar um LLM com dados de “alta qualidade” levará a um melhor desempenho do que alimentá-lo com qualquer lixo antigo de “baixa qualidade” que você puder encontrar. Agora, um grupo de pesquisadores está tentando quantificar o quanto esse tipo de dados de baixa qualidade pode fazer com que um LLM experimente efeitos semelhantes à “podridão cerebral” humana.
Para um artigo pré-impresso publicado este mês, os investigadores da Texas A&M, da Universidade do Texas e da Universidade de Purdue inspiraram-se em pesquisas existentes que mostram como os humanos que consomem “grandes volumes de conteúdo online trivial e incontestável” podem desenvolver problemas de atenção, memória e cognição social. Isso os levou ao que chamam de “hipótese da podridão cerebral do LLM”, resumida como a ideia de que “o pré-treinamento contínuo em textos indesejados da web induz um declínio cognitivo duradouro nos LLMs”.
Descobrir o que é considerado “texto indesejado” e o que é considerado “conteúdo de qualidade” está longe de ser um processo simples ou totalmente objetivo, é claro. Mas os pesquisadores usaram algumas métricas diferentes para provocar um “conjunto de dados indesejados” e um “conjunto de dados de controle” do corpus de 100 milhões de tweets do HuggingFace.
Como a podridão cerebral em humanos é “uma consequência do vício em Internet”, escrevem eles, os tweets indesejados deveriam ser aqueles “que possam maximizar o envolvimento dos usuários de uma maneira trivial”. Como tal, os pesquisadores criaram um conjunto de dados “lixo” coletando tweets com alto número de engajamento (curtidas, retuítes, respostas e citações) e comprimentos mais curtos, imaginando que “tweets mais populares, porém mais curtos, serão considerados dados inúteis”.
Para uma segunda métrica de “lixo”, os pesquisadores basearam-se em pesquisas de marketing para definir a “qualidade semântica” dos próprios tweets. Usando um prompt GPT-4o complexo, eles procuraram extrair tweets que se concentrassem em “tópicos superficiais (como teorias da conspiração, afirmações exageradas, afirmações sem suporte ou conteúdo superficial de estilo de vida)” ou que tivessem um “estilo que chamasse a atenção (como manchetes sensacionalistas usando linguagem clickbait ou palavras-gatilho excessivas)”. Uma amostra aleatória dessas classificações baseadas no LLM foi verificada em relação às avaliações de três estudantes de pós-graduação com uma taxa de correspondência de 76%.
