O cofundador e ex-cientista-chefe da OpenAI, Ilya Sutskever, ganhou as manchetes no início deste ano depois de sair para iniciar seu próprio laboratório de IA chamado Safe Superintelligence Inc. Ele evitou os holofotes desde sua saída, mas fez uma rara aparição pública em Vancouver na sexta-feira na Conferência em Sistemas de Processamento de Informação Neural (NeurIPS).
“O pré-treinamento como o conhecemos terminará inquestionavelmente”, disse Sutskever no palco. Isso se refere à primeira fase do desenvolvimento do modelo de IA, quando um grande modelo de linguagem aprende padrões a partir de grandes quantidades de dados não rotulados – normalmente textos da Internet, livros e outras fontes.
“Alcançamos dados de pico e não haverá mais.”
Durante sua palestra no NeurIPS, Sutskever disse que, embora acredite que os dados existentes ainda possam levar o desenvolvimento da IA mais longe, a indústria está aproveitando novos dados para treinar. Esta dinâmica, disse ele, acabará por forçar uma mudança na forma como os modelos são treinados hoje. Ele comparou a situação aos combustíveis fósseis: tal como o petróleo é um recurso finito, a Internet contém uma quantidade finita de conteúdos gerados pelo homem.
“Alcançamos dados de pico e não haverá mais”, segundo Sutskever. “Temos que lidar com os dados que temos. Só existe uma internet.”
Os modelos da próxima geração, previu ele, “serão agentes de uma forma real”. Os agentes se tornaram uma verdadeira palavra da moda no campo da IA. Embora Sutskever não os tenha definido durante sua palestra, eles são comumente entendidos como um sistema de IA autônomo que executa tarefas, toma decisões e interage com software por conta própria.
Além de serem “agentes”, ele disse que os sistemas futuros também serão capazes de raciocinar. Ao contrário da IA de hoje, que combina principalmente padrões com base no que um modelo viu antes, os futuros sistemas de IA serão capazes de resolver as coisas passo a passo de uma forma que seja mais comparável ao pensamento.
Quanto mais um sistema raciocina, “mais imprevisível ele se torna”, segundo Sutskever. Ele comparou a imprevisibilidade dos “sistemas de raciocínio verdadeiro” ao modo como as IAs avançadas que jogam xadrez “são imprevisíveis para os melhores jogadores de xadrez humanos”.
“Eles entenderão as coisas a partir de dados limitados”, disse ele. “Eles não ficarão confusos.”
No palco, ele fez uma comparação entre o dimensionamento dos sistemas de IA e a biologia evolutiva, citando pesquisas que mostram a relação entre o cérebro e a massa corporal entre as espécies. Ele observou que, embora a maioria dos mamíferos siga um padrão de escala, os hominídeos (ancestrais humanos) mostram uma inclinação distintamente diferente na sua proporção de massa cérebro-corpo em escalas logarítmicas.
Ele sugeriu que, assim como a evolução encontrou um novo padrão de escala para os cérebros dos hominídeos, a IA poderia igualmente descobrir novas abordagens para escalar além de como o pré-treinamento funciona hoje.
Depois de Sutskever concluir a sua palestra, um membro da audiência perguntou-lhe como os investigadores podem criar os mecanismos de incentivo certos para a humanidade criar IA de uma forma que lhe dê “as liberdades que temos como homosapiens”.
“Sinto que, de certa forma, esse é o tipo de questões sobre as quais as pessoas deveriam refletir mais”, respondeu Sutskever. Ele fez uma pausa antes de dizer que não “se sente confiante em responder a perguntas como esta” porque isso exigiria uma “estrutura governamental de cima para baixo”. O membro da audiência sugeriu criptomoeda, o que fez outras pessoas na sala rirem.
“Não me sinto a pessoa certa para comentar sobre criptomoeda, mas há uma chance do que você [are] a descrição acontecerá”, disse Sutskever. “Sabe, em certo sentido, não é um resultado ruim se você tiver IAs e tudo o que eles querem é coexistir conosco e também apenas ter direitos. Talvez tudo bem… Acho que as coisas são incrivelmente imprevisíveis. Hesito em comentar, mas encorajo a especulação.”
