Cuando ChatGPT y otras inteligencias artificiales generativas pueden producir art\u00edculos cient\u00edficos que parecen reales, especialmente para alguien fuera de ese campo de investigaci\u00f3n, \u00bfcu\u00e1l es la mejor manera de averiguar cu\u00e1les son falsos?<\/p>\n\n\n\n
Ahmed Abdeen Hamed, investigador visitante en la Facultad de Ingenier\u00eda y Ciencias Aplicadas Thomas J. Watson de la Universidad de Binghamton, ha creado un algoritmo de aprendizaje autom\u00e1tico al que llama xFakeSci que puede detectar hasta el 94% de los art\u00edculos falsos, casi el doble de \u00e9xito que las t\u00e9cnicas de miner\u00eda de datos m\u00e1s comunes.<\/p>\n\n\n\n
“Mi investigaci\u00f3n principal es la inform\u00e1tica biom\u00e9dica, pero como trabajo con publicaciones m\u00e9dicas, ensayos cl\u00ednicos, recursos en l\u00ednea y miner\u00eda de datos en las redes sociales, siempre me preocupa la autenticidad del conocimiento que alguien est\u00e1 propagando”, dijo Hamed, que forma parte del Laboratorio de Sistemas Adaptativos Complejos e Inteligencia Computacional del Profesor de Ciencias de Sistemas George J. Klir Luis M. Rocha.<\/p>\n\n\n\n
“Los art\u00edculos biom\u00e9dicos en particular se vieron muy afectados durante la pandemia mundial porque algunas personas estaban publicitando investigaciones falsas”.<\/p>\n\n\n\n
En un nuevo art\u00edculo publicado en la revista Scientific Reports, Hamed y su colaborador Xindong Wu, profesor de la Universidad de Tecnolog\u00eda de Hefei en China, crearon 50 art\u00edculos falsos para cada uno de tres temas m\u00e9dicos populares (Alzheimer, c\u00e1ncer y depresi\u00f3n) y los compararon con la misma cantidad de art\u00edculos reales sobre los mismos temas.<\/p>\n\n\n\n
Hamed dijo que cuando le pidi\u00f3 a ChatGPT los art\u00edculos generados por IA, “trat\u00e9 de usar exactamente las mismas palabras clave que us\u00e9 para extraer la literatura de la base de datos PubMed [de los Institutos Nacionales de Salud], para que tuvi\u00e9ramos una base com\u00fan de comparaci\u00f3n. Mi intuici\u00f3n era que deb\u00eda haber un patr\u00f3n exhibido en el mundo falso versus el mundo real, pero no ten\u00eda idea de cu\u00e1l era ese patr\u00f3n”.<\/p>\n\n\n\n
Despu\u00e9s de algunos experimentos, program\u00f3 xFakeSci para analizar dos caracter\u00edsticas principales asociadas con la forma en que se escribieron los art\u00edculos. Una es la cantidad de bigramas, que son dos palabras que aparecen juntas con frecuencia, como “cambio clim\u00e1tico”, “ensayos cl\u00ednicos” o “literatura biom\u00e9dica”. El segundo es c\u00f3mo esos bigramas se vinculan con otras palabras y conceptos en el texto.<\/p>\n\n\n\n
“Lo primero que me llam\u00f3 la atenci\u00f3n fue que la cantidad de bigramas era muy escasa en el mundo falso, pero en el mundo real, los bigramas eran mucho m\u00e1s ricos”, dijo Hamed. “Adem\u00e1s, en el mundo falso, a pesar del hecho de que hab\u00eda muy pocos bigramas, estaban muy conectados con todo lo dem\u00e1s”.<\/p>\n\n\n\n
Hamed y Wu teorizan que los estilos de escritura son diferentes porque los investigadores humanos no tienen los mismos objetivos que las IA a las que se les pide que produzcan un art\u00edculo sobre un tema determinado.<\/p>\n\n\n\n
“Como ChatGPT todav\u00eda tiene un conocimiento limitado, intenta convencerte utilizando las palabras m\u00e1s significativas”, dijo Hamed. “No es el trabajo de un cient\u00edfico presentarte un argumento convincente. Un art\u00edculo de investigaci\u00f3n real informa honestamente sobre lo que sucedi\u00f3 durante un experimento y el m\u00e9todo utilizado. ChatGPT se basa en la profundidad de un solo punto, mientras que la ciencia real se basa en la amplitud”.<\/p>\n\n\n\n
El distinguido profesor y director del Departamento de Ciencias de Sistemas e Ingenier\u00eda Industrial, Mohammad T. Khasawneh, elogi\u00f3 la investigaci\u00f3n de Hamed.<\/p>\n\n\n\n
“Estamos muy contentos de que la \u00faltima incorporaci\u00f3n a nuestra s\u00f3lida lista de profesores visitantes, el Dr. Ahmed Abdeen Hamed, est\u00e9 trabajando en ideas tan novedosas”, dijo. “En una era en la que los ‘deepfakes’ forman parte de la conversaci\u00f3n p\u00fablica general, su trabajo es incre\u00edblemente oportuno y relevante en muchos niveles. Estamos entusiasmados con la promesa de su trabajo y esperamos seguir colaborando con \u00e9l”.<\/p>\n\n\n\n
Para seguir desarrollando xFakeSci, Hamed planea ampliar la gama de temas para ver si los patrones de palabras reveladores se aplican a otras \u00e1reas de investigaci\u00f3n, yendo m\u00e1s all\u00e1 de la medicina para incluir la ingenier\u00eda, otros temas cient\u00edficos y las humanidades. Tambi\u00e9n prev\u00e9 que las IA se volver\u00e1n cada vez m\u00e1s sofisticadas, por lo que determinar qu\u00e9 es real y qu\u00e9 no lo es ser\u00e1 cada vez m\u00e1s dif\u00edcil.<\/p>\n\n\n\n
“Siempre vamos a estar tratando de ponernos al d\u00eda si no dise\u00f1amos algo integral”, dijo. “Tenemos mucho trabajo por delante para buscar un patr\u00f3n general o un algoritmo universal que no dependa de qu\u00e9 versi\u00f3n de IA generativa se utilice”.<\/p>\n\n\n\n
Porque, aunque su algoritmo detecta el 94% de los art\u00edculos generados por IA, a\u00f1adi\u00f3, eso significa que 6 de cada 100 art\u00edculos falsos siguen pasando: “Tenemos que ser humildes respecto a lo que hemos logrado. Hemos hecho algo muy importante al generar conciencia”.<\/p>\n\n\n\n