Contexto da política de uso de IA em revisões científicas
A 40ª edição da Conference on Neural Information Processing Systems (NeurIPS), prevista para dezembro de 2026 em Sydney, estabelece que revisores não podem submeter textos revisados a chatbots de IA, pois isso violaria a confidencialidade dos documentos. Contudo, a mesma política permite que os revisores utilizem ferramentas de IA apenas para pesquisas de fundo, como busca de literatura ou verificação de termos técnicos.
Estratégia de “armadilha” com prompts ocultos
Para monitorar o cumprimento da norma, os organizadores inseriram instruções deliberadamente ocultas nos manuscritos enviados para avaliação. Essas instruções são reconhecidas por grandes modelos de linguagem (LLMs) e pedem que o modelo inclua frases‑marcadoras – por exemplo, "This work addresses the central challenge" ou "The claims of the paper" – nas respostas geradas. Quando um revisor utiliza um LLM para produzir seu parecer, o modelo reproduz essas frases, revelando a violação da política.
Reações da comunidade científica
Vários pesquisadores que atuam como revisores para a NeurIPS manifestaram preocupação nas redes sociais. O cientista Sören Auer, da Leibniz University Hannover, comentou no LinkedIn que “projetar uma armadilha que presume má‑fé corrói a confiança que sustenta todo o sistema”. Ele argumenta que tratar os revisores como suspeitos impede a construção de uma cultura de revisão saudável.
Por outro lado, alguns especialistas veem valor na medida. Nihar Shah, da Carnegie Mellon University e presidente de integridade científica da conferência International Conference on Machine Learning (ICML 2026), relatou que um esforço similar já identificou centenas de revisores que utilizavam LLMs de forma indevida. Na ICML, quase 500 artigos foram rejeitados por violar a política de revisão, representando cerca de 2 % das submissões.
Detalhes operacionais e percepções dos revisores
Auer explicou que, ao converter PDFs em documentos Word para facilitar a revisão, ele acabou visualizando alguns dos prompts ocultos. Inicialmente, ele rejeitou um artigo acreditando que os sinais eram inseridos pelos autores, mas, após descobrir instruções semelhantes em outro manuscrito e observar discussões sobre o tema em fóruns como Reddit, retirou a flag. Ele suspeita que outros revisores possam estar rejeitando trabalhos por desconhecer a origem dos prompts, o que poderia gerar vieses inesperados.
Sara Atito, pesquisadora de IA da University of Surrey, também encontrou as mesmas instruções em quatro artigos que revisou e notou que a própria versão de seu artigo, antes de ser enviada para revisão, continha a mesma pista inserida pelos organizadores. Atito classifica o método como “um mecanismo pobre”, argumentando que ele pode filtrar algumas submissões problemáticas, mas não resolve questões estruturais mais profundas do processo de revisão.
Justificativas dos organizadores
Em comunicado ao The Transmitter, a comissão organizadora da NeurIPS afirmou que não pode divulgar detalhes específicos das instruções ocultas, pois isso diminuiria a eficácia da intervenção. A equipe tem respondido individualmente a revisores que identificam os prompts, orientando‑os a não penalizar os artigos em questão.
Shah defende que a estratégia é “viável e factível”. Ele compartilhou a metodologia com a equipe da NeurIPS, observando que há um apoio “avassalador” entre os participantes, que estavam cansados de avaliações geradas automaticamente sem esforço crítico. Segundo ele, a prática ajuda a preservar a integridade do processo de revisão ao impedir que revisores copiem e colem respostas de IA sem análise própria.
Perspectivas futuras
O debate evidencia a necessidade de políticas claras e de discussões abertas sobre o papel da IA na revisão por pares. Enquanto alguns defendem a proibição total do uso de LLMs, outros sugerem a criação de diretrizes que permitam o uso responsável, como a indicação explícita de trechos gerados por IA ou a adoção de ferramentas de detecção automatizada.
Ao equilibrar a proteção da confidencialidade dos manuscritos com a transparência nas práticas de revisão, a comunidade científica pode avançar rumo a um modelo de avaliação mais ético e confiável.