Os robôs de IA devem fazer pesquisas acadêmicas?

Cong Lu há muito tempo é fascinado por como usar a tecnologia para tornar seu trabalho como cientista pesquisador mais eficiente. Mas seu último projeto leva a ideia ao extremo.

Lu, que é pesquisador de pós-doutorado e professor na Universidade da Colúmbia Britânica, faz parte de uma equipe que está construindo um “Cientista de IA” com o objetivo ambicioso de criar um sistema alimentado por IA que possa executar autonomamente cada etapa do método científico.

“O AI Scientist automatiza todo o ciclo de vida da pesquisa, desde a geração de novas ideias de pesquisa, escrevendo qualquer código necessário e executando experimentos, até resumir resultados experimentais, visualizá-los e apresentar suas descobertas em um manuscrito científico completo”, diz um artigo no site do projeto. O sistema de IA até tenta uma “revisão por pares” do artigo de pesquisa, que essencialmente traz outro chatbot para verificar o trabalho do primeiro.

Uma versão inicial deste AI Scientist já foi lançada — qualquer um pode baixar o código de graça. E muitas pessoas fizeram isso. Ele fez o equivalente em codificação de se tornar viral, com mais de 7.500 pessoas curtindo o projeto na biblioteca de códigos GitHub.

Para Lu, o objetivo é acelerar a descoberta científica permitindo que cada cientista adicione efetivamente assistentes de nível de doutorado para rapidamente ultrapassar limites e "democratizar" a ciência facilitando a condução de pesquisas.

“Se ampliarmos esse sistema, ele pode ser uma das maneiras de realmente ampliar a descoberta científica para milhares de áreas subfinanciadas”, ele diz. “Muitas vezes, o gargalo está em bons funcionários e anos de treinamento. E se pudéssemos empregar centenas de cientistas em seus problemas favoritos e tentar resolvê-los?”

Mas ele admite que há muitos desafios para a abordagem — como evitar que os sistemas de IA “tenham alucinações”, como a IA generativa em geral tende a fazer.

E se funcionar, o projeto levanta uma série de questões existenciais sobre qual papel os pesquisadores humanos — a força de trabalho que impulsiona grande parte do ensino superior — desempenhariam no futuro.

O projeto surge em um momento em que outros cientistas estão levantando preocupações sobre o papel da IA ​​na pesquisa.

Um artigo publicado este mês , por exemplo, descobriu que chatbots de IA já estão sendo usados ​​para criar artigos de pesquisa fabricados que estão aparecendo no Google Acadêmico, geralmente sobre tópicos controversos, como pesquisa climática.

E à medida que as empresas de tecnologia continuam a lançar chatbots mais poderosos para o público — como a nova versão do ChatGPT lançada pela OpenAI este mês — especialistas proeminentes em IA estão levantando novas preocupações de que os sistemas de IA podem pular barreiras de maneiras que ameaçam a segurança global. Afinal, parte da “democratização da pesquisa” pode levar a um risco maior de tornar a ciência uma arma.

Acontece que a grande questão pode ser se a mais recente tecnologia de IA é capaz de fazer descobertas científicas inovadoras ao automatizar o processo científico, ou se há algo exclusivamente humano nesse esforço.

Verificando erros

O campo do aprendizado de máquina — o único campo para o qual a ferramenta AI Scientist foi projetada até agora — pode ser especialmente adequado para automação.

Por um lado, é altamente estruturado. E mesmo quando humanos fazem a pesquisa, todo o trabalho acontece em um computador.

“Para qualquer coisa que exija um laboratório úmido ou algo prático, ainda temos que esperar nossos assistentes robóticos aparecerem”, diz Lu.

Mas o pesquisador diz que as empresas farmacêuticas já fizeram um trabalho significativo para automatizar o processo de descoberta de medicamentos, e ele acredita que a IA pode levar essas medidas adiante.

Um desafio prático para o projeto AI Scientist tem sido evitar alucinações de IA. Por exemplo, Lu diz que, como grandes modelos de linguagem geram continuamente o próximo caractere ou “token” com base na probabilidade derivada de dados de treinamento, há momentos em que tais sistemas podem produzir erros ao copiar dados. Por exemplo, o AI Scientist pode inserir 7,1 quando o número correto em um conjunto de dados for 9,2, ele diz.

Para evitar isso, sua equipe está usando um sistema não-IA ao mover alguns dados, e fazendo com que o sistema “verifique rigorosamente todos os números”, para detectar quaisquer erros e corrigi-los. Ele diz que uma segunda versão do sistema da equipe que eles esperam lançar no final deste ano será mais precisa do que a atual quando se trata de lidar com dados.

Mesmo na versão atual, o site do projeto afirma que o cientista de IA pode realizar pesquisas muito mais baratas do que os Ph.Ds humanos, estimando que um artigo de pesquisa pode ser criado — desde a geração de ideias até a redação e revisão por pares — por cerca de US$ 15 em custos de computação.

Lu teme que o sistema deixe pesquisadores como ele sem trabalho?

“Com as capacidades atuais dos sistemas de IA, não acho”, diz Lu. “Acho que agora é principalmente um assistente de pesquisa extremamente poderoso que pode ajudar você a dar os primeiros passos e explorações iniciais em todas as ideias para as quais você nunca teve tempo, ou até mesmo ajudar você a fazer um brainstorming e investigar algumas ideias sobre um novo tópico para você.”

No futuro, se a ferramenta melhorar, Lu admite que isso pode eventualmente levantar questões mais difíceis para o papel dos pesquisadores humanos. Embora, nesse contexto, a pesquisa não seja a única coisa transformada por ferramentas avançadas de IA. Por enquanto, porém, ele a vê como o que ele chama de “multiplicador de força”.

“É como os assistentes de código agora permitem que qualquer pessoa codifique de forma muito simples um aplicativo de jogo para dispositivos móveis ou um novo site”, diz ele.

Os líderes do projeto colocaram barreiras nos tipos de projetos que ele pode tentar, para evitar que o sistema se torne um cientista louco de IA.

“Não queremos realmente muitos vírus novos ou muitas maneiras diferentes de fazer bombas”, diz ele.

E eles limitaram o Cientista de IA a um máximo de duas ou três horas de execução por vez, ele diz, "para que tenhamos controle sobre ele", observando que há apenas uma quantidade limitada de "estragos que ele pode causar nesse tempo".

Multiplicando a má ciência?

À medida que o uso de ferramentas de IA se espalha rapidamente, alguns cientistas se preocupam que elas possam ser usadas para realmente dificultar o progresso científico, inundando a internet com artigos fabricados.

Quando a pesquisadora Jutta Haider, professora de biblioteconomia, informação, educação e TI na Escola Sueca de Biblioteconomia e Ciência da Informação, foi procurar no Google Acadêmico por artigos com resultados fabricados por IA, ela ficou surpresa com a quantidade que encontrou.

“Porque eram realmente mal produzidos”, ela explica, notando que os artigos claramente não foram escritos por um humano. “Só uma revisão simples deveria ter eliminado aqueles.”

Ela diz que espera que haja muito mais artigos fabricados por IA que sua equipe não detectou. “É a ponta do iceberg”, ela diz, já que a IA está ficando mais sofisticada, então será cada vez mais difícil dizer se algo foi escrito por humanos ou por IA.

Um problema, ela diz, é que é fácil listar um artigo no Google Acadêmico e, se você não for um pesquisador, pode ser difícil diferenciar periódicos e artigos confiáveis ​​daqueles criados por pessoas mal-intencionadas que tentam espalhar informações erradas ou adicionar trabalhos inventados ao seu currículo e torcer para que ninguém verifique onde ele foi publicado.

“Por causa do paradigma publicar-ou-perecer que rege a academia, você não pode fazer carreira sem publicar muito”, diz Haider. “Mas alguns dos artigos são realmente ruins, então ninguém provavelmente fará carreira com aqueles que encontramos.”

Ela e seus colegas estão pedindo ao Google para fazer mais para escanear artigos fabricados por IA e outras ciências lixo. “O que eu realmente recomendo que o Google Acadêmico faça é contratar uma equipe de bibliotecários para descobrir como mudar isso”, ela acrescenta. “Não é transparente. Não sabemos como ele preenche o índice.”

O EdSurge entrou em contato com funcionários do Google, mas não obteve resposta.

Lu, do projeto AI Scientist, diz que artigos científicos lixo têm sido um problema por um tempo, e ele compartilha a preocupação de que a IA poderia tornar o fenômeno mais difundido. “Recomendamos que sempre que você executar o sistema AI Scientist, qualquer coisa que seja gerada por IA seja marcada d'água para que seja verificável que foi gerada por IA e não possa ser passada como uma submissão real”, ele diz.

E ele espera que a IA possa realmente ser usada para ajudar a escanear pesquisas existentes — sejam elas escritas por humanos ou robôs — para descobrir trabalhos problemáticos.

Mas isso é ciência?

Embora Lu diga que o cientista de IA já produziu alguns resultados úteis, ainda não está claro se a abordagem pode levar a novos avanços científicos.

“Os bots de IA são realmente bons ladrões de muitas maneiras”, ele diz. “Eles podem copiar o estilo de arte de qualquer um. Mas eles poderiam inventar um novo estilo de arte que não tenha sido visto antes? É difícil dizer.”

Ele diz que há um debate na comunidade científica sobre se as grandes descobertas vêm de uma mistura de ideias ao longo do tempo ou envolvem atos únicos de criatividade e genialidade humana.

“Por exemplo, as ideias de Einstein eram novas ou estavam no ar na época?”, ele se pergunta. “Muitas vezes, a ideia certa estava bem na nossa cara o tempo todo.”

As consequências do Cientista de IA dependerão dessa questão filosófica.

Para Haider, a acadêmica sueca, não há preocupação de que a IA possa usurpar seu trabalho.

“Não há sentido para a IA fazer ciência”, ela diz. “A ciência vem de uma necessidade humana de entender — uma necessidade existencial de querer entender — o mundo.”

“Talvez haja algo que imite a ciência”, ela conclui, “mas não é ciência”.