A IA venceu os melhores revisores científicos. E agora?

Um estudo agora divulgado por Gary King e Steven Worthington, da Universidade de Harvard, põe em causa a segunda parte dessa frase. Os autores compararam 134 revisões humanas de 124 artigos com revisões geradas por inteligência artificial. Não eram revisões quaisquer: foram escritas por especialistas cuidadosamente escolhidos, bem pagos e instruídos para serem construtivos. Antigos editores de revistas de topo consideraram-nas das melhores que alguma vez tinham visto. Era, por assim dizer, a seleção nacional da revisão científica.

Perdeu. A IA ganhou em todas as comparações quando avaliada por outro modelo de IA, de uma empresa concorrente. Também ganhou em 87% dos casos quando avaliada às cegas por antigos editores humanos, que não sabiam o que estavam a comparar. E errou menos: cerca de 5,5% das afirmações das revisões automáticas sobre os manuscritos estavam incorretas, contra quase 16% nas humanas. Não houve uma única referência inventada.

Convém ler estes números com a cautela que o próprio estudo recomenda. A avaliação humana assentou em apenas dez pares de revisões. Grande parte do veredicto foi entregue a uma máquina. E os autores não mediram se os artigos ficaram efetivamente melhores depois de revistos. Ainda assim, mesmo descontando tudo isto, a conclusão é difícil de contornar: para ajudar um autor a melhorar um texto, a máquina já é, no mínimo, uma concorrente séria do melhor que temos.

O problema é que a revisão por pares não serve apenas para melhorar artigos. Serve também para decidir o que merece ser publicado, ou seja, o que a comunidade científica reconhece como conhecimento. E aqui o estudo levanta um alerta que me parece o mais importante de todos. Quando todos os investigadores recorrem a ferramentas semelhantes para gerar ideias e corrigir textos, a ciência tende a convergir para o convencional, o consensual, o previsível. A IA torna cada um de nós melhor individualmente, mas pode tornar o conjunto mais pobre. A discordância caótica entre revisores humanos, tantas vezes exasperante, é também uma forma de diversidade.

Há ainda um risco mais prosaico. Se as revistas publicarem o "prompt" oficial com que avaliam os artigos, os autores passarão a escrever para agradar ao algoritmo, e não para fazer boa ciência. Já vimos este filme com os rankings e os indicadores bibliométricos.

Fingir que nada mudou também não é solução. Um inquérito numa das maiores conferências de aprendizagem automática revelou que mais de um em cada cinco revisores proibidos de usar IA a usou na mesma. A IA já está dentro do sistema; a questão é se entra pela porta da frente, com regras, ou pela janela.

O caminho sensato parece-me o que os próprios autores sugerem. Os autores devem usar a IA para limpar os erros, as fragilidades metodológicas e as falhas de argumentação antes de submeter. As revistas devem exigir transparência sobre esse uso e respostas fundamentadas às críticas da máquina. A decisão final sobre o que é relevante, original e digno de publicação deve continuar nas mãos de editores humanos, com nome, responsabilidade e prestação de contas.

A máquina pode ser o melhor revisor que já tivemos. Mas a ciência não pode abdicar de decidir, ela própria, o que considera verdadeiro e importante.