Um dos mais importantes cientistas de IA da Big Tech quer abandonar a abordagem atual de construção de IA de nível humano. O que precisamos, indicou Yann LeCun, não são grandes modelos de linguagem, mas “modelos mundiais”.
LeCun, cientista-chefe de IA de “pesquisa fundamental de IA” da Meta, deverá renunciar à Meta em breve, de acordo com vários relatórios de meios de comunicação confiáveis. LeCun é um estadista mais velho de 65 anos no mundo da ciência da IA, e ele teve recursos aparentemente ilimitados à sua disposição trabalhando como o grande cérebro da IA em uma das maiores empresas de tecnologia do mundo.
Por que razão está ele a abandonar uma empresa que tem estado a gastar muito, a recrutar os especialistas em IA mais qualificados de outras empresas e, de acordo com uma publicação no blog de Julho do CEO Mark Zuckerburg, a dar saltos tão surpreendentes internamente que supostamente o desenvolvimento da “superinteligência está agora à vista”?
Na verdade, ele está insinuando a resposta há muito tempo. Quando se trata de inteligência de nível humano, LeCun tornou-se famoso ultimamente por dizer que os LLMs como os entendemos atualmente são um fracasso – não vale mais a pena persegui-los, não importa o quanto a Big Tech os aumente. Ele disse em abril do ano passado que “um LLM é basicamente uma rampa de saída, uma distração, um beco sem saída”. (O arquicrítico de IA Gary Marcus atacou LeCun por defender “beligerantemente” os LLMs das próprias críticas de Marcus e depois mudar de direção.)
Uma análise do Wall Street Journal sobre a carreira de LeCun publicada na sexta-feira aponta para algumas outras possibilidades sobre as razões da sua saída à luz desta crença. No verão passado, um jovem de 28 anos chamado Alexandr Wang – o co-criador da sensação ChatGPT baseada em LLM – tornou-se o chefe de IA da Meta, tornando um novato fanático por LLM o chefe de LeCun. E Meta trouxe outro cientista-chefe relativamente jovem para trabalhar na LeCun este ano, Shengjia Zhao. O anúncio de Meta sobre o novo papel de Zhao apregoa um “avanço” crescente que ele aparentemente proporcionou. LeCun diz que perdeu a fé na expansão.
Se você está se perguntando como LeCun pode ser um cientista-chefe se Zhao também é um cientista-chefe, é porque a operação de IA da Meta parece ter um organograma excêntrico, dividido em vários grupos separados. Centenas de pessoas foram despedidas no mês passado, aparentemente num esforço para resolver tudo isto.
A reportagem do Financial Times sobre LeCun do início desta semana sugere que LeCun agora fundará uma startup focada em “modelos mundiais”.
Mais uma vez, LeCun não tem medo de explicar por que acha que os modelos mundiais têm as respostas de que a IA precisa. Ele fez um discurso detalhado sobre isso na AI Action Summit, em Paris, em fevereiro, mas foi ofuscado pelo representante dos EUA, o vice-presidente JD Vance, fazendo um discurso belicoso sobre como é melhor que todos saiam do caminho da América no que diz respeito à IA.
Por que Yann LeCun é fascinado por modelos mundiais?
Conforme explicado em seu discurso – LeCun, que trabalhou nos óculos inteligentes Meta AI, mas não em um grau significativo no Llama LLM da Meta – é um grande crente em wearables.
É incrível como os óculos Ray-Ban Meta podem ajudar os deficientes visuais. https://t.co/w3ZxCFtTlE
-Yann LeCun (@ylecun) 30 de setembro de 2024
Precisaremos interagir com futuros wearables como se fossem pessoas, ele pensa, e os LLMs simplesmente não entendem o mundo como as pessoas. Com os LLMs, diz ele, “não podemos nem reproduzir a inteligência dos gatos ou dos ratos, muito menos a inteligência dos cães. Eles podem realizar feitos incríveis. Eles entendem o mundo físico. Qualquer gato doméstico pode planejar ações altamente complexas. E eles têm modelos causais do mundo”.
LeCun fornece um experimento mental para ilustrar o que ele acha que pode levar – se você quiser – a um modelo de mundo, e é algo que ele acha que qualquer ser humano pode fazer facilmente e que um LLM simplesmente não pode:
“Se eu lhe disser ‘imagine um cubo flutuando no ar à sua frente. Ok, agora gire esse cubo 90 graus em torno de um eixo vertical. Como ele se parece?’ É muito fácil para você ter esse modelo mental de um cubo girando.”
Com muito pouco esforço, um LLM pode escrever uma história suja sobre um cubo giratório e flutuante, claro, mas não pode realmente ajudá-lo a interagir com um. LeCun afirma que isso se deve a uma diferença entre dados de texto e dados derivados do processamento de muitas partes do mundo que não são texto. Embora os LLMs sejam treinados em uma quantidade de texto que levaria 450 mil anos para ler, diz LeCun, uma criança de quatro anos que está acordada há 16 mil horas processou, com os olhos ou pelo toque, 1,4 x 10 ^ 14 bytes de dados sensoriais sobre o mundo, o que ele diz ser mais do que um LLM.
Estas, aliás, são apenas as estimativas que LeCun dá no seu discurso, e convém referir que deu outras. A abstracção para a qual os números apontam, no entanto, é que os LLMs são limitados de uma forma que LeCun pensa que os modelos mundiais não seriam.
Que modelo LeCun deseja construir e como ele o construirá?
LeCun já começou a trabalhar em modelos de mundo na Meta – inclusive fazendo um vídeo introdutório que implora que você imagine um cubo giratório.
O modelo dos sonhos de LeCun, conforme descrito em seu discurso no AI Action Summit, contém uma “estimativa do estado do mundo” atual, na forma de algum tipo de representação abstrata de, bem, tudoou pelo menos tudo o que é relevante no contexto atual e, em vez de uma previsão sequencial e tokenizada, ela “prevê o estado resultante do mundo que ocorrerá depois que você executar essa sequência de ações”.
Os modelos mundiais permitirão que os futuros cientistas da computação construam, diz ele, “sistemas que possam planear ações – possivelmente hierarquicamente – de modo a cumprir um objetivo, e sistemas que possam raciocinar”. LeCun também insiste que tais sistemas terão recursos de segurança mais robustos, porque as formas como os controlamos serão incorporadas a eles, em vez de serem caixas pretas misteriosas que cospem texto e que precisam ser refinadas por meio de ajustes finos.
No que LeCun diz ser IA clássica – como o software usado em um mecanismo de busca – todos os problemas são redutíveis à otimização. O seu modelo mundial, sugere ele, irá olhar para o estado actual do mundo e procurar compatibilidade com algum estado diferente, encontrando soluções eficientes. “Você quer uma função de energia que meça a incompatibilidade e, dado um x, encontre um y que tenha energia baixa para esse x”, diz LeCun em seu discurso.
Novamente, estes são apenas relatórios credíveis de informações vazadas sobre os planos de LeCun, e ele nem sequer confirmou que está fundando algo novo. Se tudo o que podemos juntar das declarações públicas de LeCun parece provisório e um pouco confuso na fase actual, deveria. LeCun parece ter um tiro lunar em mente e está pressionando por outra explosão de habilidades estranhas, como o ChatGPT. Poderia levar séculos – ou literalmente uma eternidade – para não falar de milhares de milhões de dólares de investidores, para que algo verdadeiramente notável se materializasse.
O Gizmodo entrou em contato com Meta para comentar como o trabalho de LeCun se encaixa na missão de IA da empresa e atualizará se recebermos uma resposta.
