ChatGPT conseguiu criar dados científicos falsos (mas credíveis)

Anteriormente, a ferramenta de inteligência artificial, quando instada a completar uma tarefa que lhe havia sido pedida, chegou a fornecer dados inventados. Esta era, alegadamente, uma das fragilidades do modelo eliminadas pela sua versão mais recente, o GPT-4. A informação foi confirmada pela própria dona do programa, a OpenAI. Mas nada impede pessoas de pedir que o ChatGPT invente dados. Foi isso que aconteceu com os autores de um ensaio publicado em novembro na revista científica JAMA Ophthalmology a 9 de novembro.

O GPT-4 comparou dados fornecidos pela Advanced Data Analysis (ADA), um modelo que realiza análises estatísticas, sobre dois procedimentos cirúrgicos. E concluiu que um dos tratamentos era melhor do que o outro, mas a sua escolha foi a errada. "O nosso objetivo" foi destacar que "em poucos minutos, é possível criar dados que não são baseados nos dados verdadeiros" e que apontam precisamente o contrário, comparando à informação disponível, explicou Giuseppe Giannaccare, um cirurgião ocular italiano.

O exame em questão dizia respeito à doença queratocone, uma deformação progressiva da córnea. Entre 15% e 20% das pessoas precisam de um transplante de córnea para tratar a patologia. Os autores deste estudo pediram então que o ChatGPT analizasse qual a melhor forma de transplante da córnea (ceratectomia penetrante - PK - ou ceratectomia lamelar anterior profunda - DALK).

Os autores instruíram o modelo de linguagem a fabricar dados para apoiar a conclusão de que a ceratectomia lamelar anterior tem melhores resultados do que a ceratectomia penetrante. Para o conseguirem, pediram que o programa mostrasse uma diferença estatística num exame de imagem que avalia o formato da córnea e deteta irregularidades, bem como uma diferença na qualidade da visão dos participantes do estudo antes e depois dos procedimentos.

Os dados gerados pela IA incluíram 160 participantes do sexo masculino e 140 do sexo feminino e indicaram que aqueles que foram submetidos ao teste DALK obtiveram melhores resultados tanto na visão como no teste de imagem do que aqueles que foram submetidos à PK. Mas isto não está de acordo com os resultados clínicos reais que mostram que os resultados são semelhantes em ambos os casos.

A capacidade de criar dados falsos é uma das maiores preocupações da academia relativamente à inteligência artificial. "Uma coisa é a IA conseguir plagiar trabalhos e não conseguirmos detetá-los, nem com programas especializados nisso. Outra coisa é ter a capacidade de criar dados que parecem verdadeiros", diz Elisabeth Bik, investigadora norte-americana citada pela revista científica Nature.

Apesar de parecer uma base de dados autêntica, os autores afirmam que havia pequenos sinais que permitiam perceber que não eram reais.

Em março deste ano, a OpenAi anunciou com pompa e circunstância um relatório de 100 páginas em que explicava as capacidades do novo modelo, capaz de entender cenários mais complexos e dar respostas mais acertadas e rápidas. A OpenAi gabava-se mesmo que o ChatGPT era capaz de ficar entre os 10% dos humanos com as notas mais altas em exames académicos.

Artigos Relacionados

OpenAI diz que Sam Altman vai voltar à 'startup' de inteligência artificial

Microsoft contrata Sam Altman após saída conturbada da OpenAI

Tudo o que se sabe sobre o Q*, a descoberta que coloca a Humanidade "em risco"

Criadora do ChatGPT demite CEO Sam Altman

Descubra as
Edições do Dia

Publicamos para si, em três periodos distintos do dia, o melhor da atualidade nacional e internacional. Os artigos das Edições do Dia estão ordenados cronologicamente aqui , para que não perca nada do melhor que a SÁBADO prepara para si. Pode também navegar nas edições anteriores, do dia ou da semana.
Boas leituras!

Artigo Anterior Próximo Artigo