Moldando o Futuro da IAG: Uma Estrutura Cognitiva de Avaliação

Medindo o Progresso Rumo à Inteligência Artificial Geral (IAG)

A Inteligência Artificial Geral (IAG) possui um potencial transformador para acelerar descobertas científicas e auxiliar na resolução de problemas cruciais da humanidade. No entanto, é desafiador determinar nossa proximidade com este marco fundamental devido à escassez de ferramentas empíricas para avaliar a inteligência geral dos sistemas. O acompanhamento do progresso em direção à IAG exige uma vasta gama de métodos e abordagens, e a ciência cognitiva oferece uma peça importante deste complexo quebra-cabeça.

Pensando nisso, foi lançado recentemente um novo artigo, "Measuring Progress Toward AGI: A Cognitive Taxonomy", que apresenta uma base científica para a compreensão das capacidades cognitivas dos sistemas de IA.

Paralelamente ao artigo, há uma parceria com a Kaggle para lançar um hackathon, convidando a comunidade de pesquisa a colaborar na construção das avaliações necessárias para colocar esta estrutura em prática.

Desconstruindo a Inteligência Geral

A estrutura proposta baseia-se em décadas de pesquisa em psicologia, neurociência e ciência cognitiva para desenvolver uma taxonomia cognitiva. Ela identifica 10 habilidades cognitivas chave que são hipotetizadas como importantes para a inteligência geral em sistemas de IA:

• Percepção: extrair e processar informações sensoriais do ambiente.
• Geração: produzir saídas como texto, fala e ações.
• Atenção: focar recursos cognitivos no que importa.
• Aprendizagem: adquirir novos conhecimentos através da experiência e instrução.
• Memória: armazenar e recuperar informações ao longo do tempo.
• Raciocínio: tirar conclusões válidas por meio de inferência lógica.
• Metacognição: conhecimento e monitoramento dos próprios processos cognitivos.
• Funções executivas: planejamento, inibição e flexibilidade cognitiva.
• Resolução de problemas: encontrar soluções eficazes para problemas específicos de domínio.
• Cognição social: processar e interpretar informações sociais e responder apropriadamente em situações sociais.

Para compreender as capacidades da IA em todas essas habilidades cognitivas, propõe-se um protocolo de avaliação de três etapas que compara o desempenho do sistema em relação às capacidades humanas:

• Avaliar sistemas de IA em um amplo conjunto de tarefas cognitivas, cobrindo cada habilidade, usando conjuntos de teste reservados para evitar contaminação de dados.
• Coletar linhas de base humanas para as mesmas tarefas a partir de uma amostra demograficamente representativa de adultos.
• Mapear o desempenho de cada sistema de IA em relação à distribuição do desempenho humano em cada habilidade.

Da Teoria à Prática: O Desafio Kaggle

Definir essas habilidades cognitivas é um primeiro passo crucial, mas precisamos de mais do que apenas uma estrutura para medir o progresso. Para colocar essa teoria em prática, está sendo lançado um novo hackathon Kaggle — "Measuring progress toward AGI: Cognitive abilities". O hackathon incentiva a comunidade a projetar avaliações para cinco habilidades cognitivas onde a lacuna de avaliação é a maior: aprendizagem, metacognição, atenção, funções executivas e cognição social.

Os participantes podem usar a plataforma recém-lançada Community Benchmarks da Kaggle para construir e testar suas avaliações contra uma linha de modelos de ponta.

É oferecido um prêmio total de $200.000: $10.000 para as duas melhores submissões em cada uma das cinco trilhas, e grandes prêmios de $25.000 para as quatro melhores submissões gerais. As submissões estão abertas de 17 de março a 16 de abril, e os resultados serão anunciados em 1º de junho. Acesse o site da Kaggle para começar a construir.

Esta iniciativa representa um avanço significativo na jornada para a IAG, fornecendo ferramentas empíricas necessárias para medir o progresso de forma tangível. Ao engajar a comunidade global, impulsionamos a criação de avaliações robustas que, em última instância, acelerarão a descoberta científica e nos ajudarão a enfrentar os desafios mais prementes da humanidade.