Durante uma aparição recente na imprensa, o CEO da Openai, Sam Altman, disse que observou o “QI” da IA melhorando rapidamente nos últimos anos.
“Muito mais ou menos, parece -me como – isso não é cientificamente preciso, isso é apenas uma vibração ou resposta espiritual – todos os anos movemos um desvio padrão do QI”, disse Altman.
Altman não é o primeiro a usar o QI, uma estimativa da inteligência de uma pessoa, como uma referência para o progresso da IA. Os influenciadores da IA nas mídias sociais deram aos modelos testes de QI e classificaram os resultados.
Mas muitos especialistas dizem que o QI é uma medida ruim das capacidades de um modelo – e uma enganadora.
“Pode ser muito tentador usar as mesmas medidas que usamos para os seres humanos para descrever capacidades ou progresso, mas é como comparar maçãs com laranjas”, disse Sandra Wachter, pesquisadora que estuda tecnologia e regulamentação em Oxford, à TechCrunch.
Em seus comentários no Pressser, Altman equiparou o QI com inteligência. No entanto, os testes de QI são relativos – não objetivos – medidas de certo tipos de inteligência. Há algum consenso de que o QI é um teste razoável de lógica e raciocínio abstrato. Mas não mede prático Inteligência – Saber fazer as coisas funcionarem – e é, na melhor das hipóteses, um instantâneo.
“O QI é uma ferramenta para medir as capacidades humanas – um contestado não menos – com base no que os cientistas acreditam que a inteligência humana é”, observou Wachter. “Mas você não pode usar a mesma medida para descrever os recursos de IA. Um carro é mais rápido que os humanos, e um submarino é melhor no mergulho. Mas isso não significa que carros ou submarinos superem a inteligência humana. Você está equivocando um aspecto do desempenho com a inteligência humana, que é muito mais complexa. ”
Para se destacar em um teste de QI, cujas origens alguns historiadores remontam à eugenia, a teoria científica amplamente desacreditada de que as pessoas podem ser melhoradas através da criação seletiva, um tomador de teste deve ter uma forte memória de trabalho e conhecimento das normas culturais ocidentais. Isso convida a oportunidade de viés, é claro, e é por isso que um psicólogo chamou os testes de QI de “modelos mecânicos ideologicamente corruptíveis” de inteligência.
O fato de um modelo se sair bem em um teste de QI indica mais sobre as falhas do teste do que o desempenho do modelo, de acordo com o OS Keyes, um candidato a doutorado na Universidade de Washington que estuda IA ética.
““[These] Os testes são muito fáceis de jogar se você tiver uma quantidade praticamente infinita de memória e paciência ”, disse Keyes. “Os testes de QI são uma maneira altamente limitada de medir a cognição, a senciência e a inteligência, algo que conhecemos desde antes da invenção do próprio computador digital”.
A IA provavelmente também tem uma vantagem injusta nos testes de QI, considerando que os modelos têm grandes quantidades de memória e conhecimento internalizado à sua disposição. Freqüentemente, os modelos são treinados em dados públicos da Web, e a Web está cheia de perguntas de exemplo retiradas dos testes de QI.
“Os testes tendem a repetir padrões muito semelhantes – uma maneira bastante infalível de elevar seu QI é praticar os testes de QI, e é essencialmente o que todos [model] fez ”, disse Mike Cook, pesquisador do King’s College London, especializado em IA. “Quando aprendo alguma coisa, não o coloco no meu cérebro com maior clareza 1 milhão de vezes, ao contrário da IA, e também não posso processá -lo sem perda de ruído ou sinal.”
Por fim, os testes de QI-tendenciosos como são-foram projetados para humanos, acrescentou Cook-destinada a avaliar habilidades gerais de solução de problemas. Eles são inapropriados para uma tecnologia que aborda a solução de problemas de uma maneira muito diferente da das pessoas.
“Um corvo pode usar uma ferramenta para recuperar um tratamento de uma caixa, mas isso não significa que ele possa se inscrever em Harvard”, disse Cook. “Quando resolvo um problema de matemática, meu cérebro também está disputando com sua capacidade de ler as palavras na página corretamente, para não pensar nas compras que preciso fazer no caminho para casa ou se estiver muito frio na sala agora . Em outras palavras, os cérebros humanos lidam com muito mais coisas quando resolvem um problema – qualquer problema, testes de QI ou não – e eles fazem isso com muito menos ajuda [than AI.]”
Tudo isso aponta para a necessidade de melhores testes de IA, disse Heidy Khlaaf, cientista -chefe da IA do Instituto AI Now, TechCrunch.
“Na história da computação, não comparamos as habilidades de computação com as dos seres humanos precisamente porque a natureza da computação significa que os sistemas sempre foram capazes de concluir tarefas já além da capacidade humana”, disse Khlaaf. “Essa idéia de que comparamos diretamente o desempenho dos sistemas contra as habilidades humanas é um fenômeno recente que é altamente contestado e o que envolve a controvérsia dos consultores sempre expandidos-e comoventes-que estão sendo criados para avaliar os sistemas de IA”.
