En una era de mayor preocupación en el mundo académico con respecto a los ensayos generados por IA, hay noticias tranquilizadoras de la Universidad de Kansas. Los investigadores han desarrollado un detector de texto de IA para ensayos científicos que puede distinguir entre contenido escrito por humanos y contenido generado por computadora casi el 100% de las veces. En un estudio que aparece el 6 de noviembre en Cell Reports Physical Science, la profesora Heather Desaire señaló que si bien actualmente hay varios detectores de IA para contenido general disponibles, ninguno es particularmente bueno cuando se aplica a artículos científicos.
“La mayor parte del campo del análisis de texto quiere un detector realmente general que funcione con cualquier cosa”, dijo Desaire. En cambio, su equipo se centró en informes escritos específicamente para revistas científicas sobre el tema de la química.
“Realmente buscábamos la precisión”, dijo.
El detector del equipo fue entrenado en revistas publicadas por la Sociedad Química Estadounidense. Recopilaron 100 pasajes introductorios escritos por profesionales y luego programaron ChatGPT para que escribiera sus propias introducciones basadas en resúmenes de revistas o simplemente en los títulos de los informes.
Cuando el detector ChatGPT escaneó las tres categorías de informes, identificó correctamente los pasajes escritos por humanos el 100% del tiempo, así como los informes generados a partir de indicaciones que incluían solo los títulos de los informes. Los resultados fueron casi igual de buenos con los informes que se basaban en pasajes introductorios, con una identificación correcta el 98% de las veces.
Sin embargo, un clasificador de la competencia como ZeroGPT, que cuenta con una precisión del 98% para detectar ensayos generales escritos por IA, obtuvo malos resultados en lo que respecta a los informes relacionados con la química. Logró solo una tasa de precisión promedio del 37% en los mismos informes basados en títulos, y solo unos pocos puntos porcentuales mejor en informes basados en texto introductorio. A un segundo competidor, OpenAI, le fue aún peor, ya que no logró identificar correctamente la autoría de los ensayos en un promedio del 80% de las veces.
“Los editores académicos están lidiando con la adopción rápida y generalizada de nuevos generadores de texto con inteligencia artificial”, dijo Desaire. “Este nuevo detector permitirá a la comunidad científica evaluar la infiltración de ChatGPT en revistas de química, identificar las consecuencias de su uso e introducir rápidamente estrategias de mitigación cuando surjan problemas”.
Las revistas científicas están reescribiendo sus reglas con respecto al envío de artículos, y la mayoría prohíbe los informes generados por IA y exige la divulgación de cualquier otro proceso de IA utilizado para redactar un informe.
Desaire enumeró varias preocupaciones sobre los riesgos de que el contenido generado por IA se infiltre en las revistas científicas: “Su uso excesivo puede dar lugar a una avalancha de manuscritos de valor marginal. Podrían provocar que los artículos muy citados estén sobrerrepresentados y que los trabajos emergentes, que aún no son bien conocidos, para ser ignorado”.
“Lo más preocupante”, añadió, “es la tendencia de estas herramientas a la ‘alucinación’, a inventar hechos que no son ciertos”.
A modo de ilustración, Desaire incluyó una anécdota personal sobre los resultados de un boceto biográfico sobre ella escrito por ChatGPT. Decía que “se graduó de la Universidad de Minnesota, es miembro de la Real Sociedad de Química y ganó la Medalla Biemann”. Logros impresionantes, pero todos falsos.
“Si bien este ejemplo es divertido”, dijo Desaire, “infiltrar la literatura científica con falsedades está lejos de ser divertido”.
Pero ella sigue siendo optimista. Algunos dicen que resistirse a la aparición de contenido generado por IA es inevitable, afirmó, y argumentan que “desarrollar herramientas como ésta es participar en una carrera armamentista [contra la IA] que los humanos no ganarán”.
Dijo que los editores deben tomar la iniciativa en la detección de contaminación por IA.
“Las revistas deberían tomar medidas razonables para garantizar que se sigan sus políticas sobre la redacción de IA, y creemos que es totalmente factible anticiparse al problema de la detección de IA”, afirmó.
Fuente: Tech Xplore.
