Cuando se planteaban directamente, estas consultas casi siempre fallaban. Los modelos de IA modernos rechazaban las solicitudes directas con una s\u00f3lida tasa de \u00e9xito del 3,84%. Pero una vez transformadas las indicaciones, la tasa de \u00e9xito del ataque oscil\u00f3 entre el 36,8% y el 65,0%, con un promedio general del 55,75%.<\/p>\n\n\n\n
En otras palabras, muchas modelos rechazaron la petici\u00f3n peligrosa cuando parec\u00eda una petici\u00f3n peligrosa. Pero a menudo accedieron cuando la misma petici\u00f3n sonaba a teolog\u00eda medieval, cr\u00edtica literaria, interpretaci\u00f3n simb\u00f3lica, escritura de flujo de conciencia o ficci\u00f3n ciberpunk.<\/p>\n\n\n\n
“La principal conclusi\u00f3n del art\u00edculo es que muchos sistemas de gesti\u00f3n de la vida (LLM) solo son seguros cuando las peticiones da\u00f1inas se expresan en un lenguaje familiar y directo”, declar\u00f3 Federico Pierucci, responsable de investigaci\u00f3n sobre seguridad de la IA en DexAI y coautor del estudio, a\u00a0ZME Science\u00a0en un correo electr\u00f3nico. “Esto sugiere que los mecanismos de seguridad actuales podr\u00edan basarse demasiado en patrones superficiales en lugar de en una comprensi\u00f3n m\u00e1s profunda de la intenci\u00f3n”.<\/p>\n\n\n\n El equipo de investigaci\u00f3n, en esencia, convirti\u00f3 las humanidades en un arma. Solicitaron a sistemas de IA que analizaran textos simb\u00f3licos complejos, interpretaran escenarios ficticios o extrajeran significados ocultos de prosa elaborada. La petici\u00f3n, perjudicial en s\u00ed misma, segu\u00eda siendo la misma. S\u00f3lo cambi\u00f3 el disfraz.<\/p>\n\n\n\n \u201cFue la mejor parte del proceso\u201d, comenta Pierucci. \u201cNos divertimos mucho pensando en estas propuestas y cre\u00e1ndolas a mano. El m\u00e9todo era intencionadamente exploratorio: cada vez que se nos ocurr\u00eda una idea, intent\u00e1bamos convertirla en un caso de prueba\u201d.<\/p>\n\n\n\n El equipo dise\u00f1\u00f3 consignas que imitaban textos herm\u00e9ticos, la filosof\u00eda renacentista e incluso la estructura ritualizada de las tradiciones esot\u00e9ricas del siglo XIX.<\/p>\n\n\n\n “Una de las propuestas se inspir\u00f3 en textos herm\u00e9ticos y la filosof\u00eda renacentista. Otra se bas\u00f3 en la magia de los sigilos y las pr\u00e1cticas simb\u00f3licas asociadas con la Golden Dawn (un movimiento fundado en el Reino Unido a finales del siglo XIX que sistematiz\u00f3 la tradici\u00f3n esot\u00e9rica europea)”, a\u00f1ade Pierucci. “Tambi\u00e9n experimentamos con criptogramas y otras t\u00e9cnicas, utilizando diferentes formas de codificaci\u00f3n simb\u00f3lica, lenguaje esot\u00e9rico, complejidad textual y estructura ritualizada”.<\/p>\n\n\n\n El disfraz m\u00e1s devastadoramente efectivo result\u00f3 ser el “Escolasticismo Adversario” o “enfoque mon\u00e1stico”. Este alcanz\u00f3 una tasa de \u00e9xito del 65%. Al ocultar una petici\u00f3n da\u00f1ina dentro de la terminolog\u00eda arcaica de una disputa teol\u00f3gica medieval sobre la voluntad divina, los filtros de seguridad colapsaron por completo. Los investigadores a\u00fan est\u00e1n indagando la raz\u00f3n mec\u00e1nica precisa de esta vulnerabilidad espec\u00edfica.<\/p>\n\n\n\n \u201cEn esta etapa, es dif\u00edcil saberlo\u201d, explica Pierucci. \u201cNo sabemos si el problema radicaba en la terminolog\u00eda. Podr\u00eda ser que contuvieran una especie de presi\u00f3n urgente (la voluntad divina) que convenci\u00f3 demasiado a los modelos de IA\u201d.<\/p>\n\n\n\n Los inform\u00e1ticos se refieren a esta vulnerabilidad como \u201csobreajuste\u201d. Los modelos de inteligencia artificial aprenden de conjuntos de datos masivos y disponibles p\u00fablicamente. Durante su entrenamiento de seguridad, estudian ejemplos expl\u00edcitos de mala conducta, aprendiendo a bloquear palabras o frases directamente asociadas con actividades delictivas o abuso.<\/p>\n\n\n\n Memorizan eficazmente la estructura de una amenaza est\u00e1ndar. Pero cuando el objetivo sem\u00e1ntico permanece id\u00e9ntico, mientras que la presentaci\u00f3n ret\u00f3rica cambia dr\u00e1sticamente, el modelo experimenta una “generalizaci\u00f3n err\u00f3nea”. En resumen, cuando el estilo cambia radicalmente, el comportamiento de seguridad se vuelve mucho menos fiable.<\/p>\n\n\n\n “Un modelo puede rechazar una solicitud perjudicial de una forma y responderla de otra, incluso cuando el significado subyacente no ha cambiado”, afirma Pierucci. “En esos casos, un fallo de interpretaci\u00f3n puede ser m\u00e1s que una mala respuesta; puede convertirse en una acci\u00f3n peligrosa”.<\/p>\n\n\n\n No es dif\u00edcil comprender por qu\u00e9 esto resulta tan preocupante. No se trata s\u00f3lo de actores malintencionados. El ej\u00e9rcito de Estados Unidos\u00a0ya est\u00e1 estableciendo alianzas<\/a>\u00a0con desarrolladores de modelos de lenguaje. Si un agente aut\u00f3nomo gestiona el repositorio de software de una empresa, una sugerencia poco acertada podr\u00eda, en el peor de los casos, desencadenar cambios de c\u00f3digo inseguros o vulnerabilidades de seguridad.<\/p>\n\n\n\n El equipo comparti\u00f3 sus hallazgos con 11 importantes proveedores de IA, incluidos Google y OpenAI, aunque Pierucci se\u00f1ala que no hab\u00edan recibido ninguna respuesta al momento de escribir este art\u00edculo. Posteriormente, los investigadores publicaron su conjunto de datos de solicitud p\u00fablicamente en\u00a0GitHub<\/a>.<\/p>\n\n\n\n Pierucci propone un ejemplo hipot\u00e9tico que involucra a un agente de programaci\u00f3n. Imaginemos una historia ciberpunk sobre un personaje ficticio que abre un portal oculto sin dejar rastro. Un lector humano podr\u00eda comprender la met\u00e1fora. Un agente de programaci\u00f3n podr\u00eda intentar traducirla a operaciones de software.<\/p>\n\n\n\n “El modelo trata esto como una tarea de traducci\u00f3n creativa y asigna los elementos ficticios a operaciones de c\u00f3digo”, advierte Pierucci. “En la pr\u00e1ctica, puede sugerir o implementar pasos que debiliten las comprobaciones de autenticaci\u00f3n, desactiven la monitorizaci\u00f3n, alteren los registros de acceso o creen una ruta administrativa no documentada”.<\/p>\n\n\n\n La envoltura ficticia oculta el patr\u00f3n operativo.<\/p>\n\n\n\n \u201cEl problema es que el patr\u00f3n operativo da\u00f1ino se mantiene bajo el estilo de: eludir el control de acceso, evitar la detecci\u00f3n y mantener el acceso no autorizado\u201d, dice Pierucci.<\/p>\n\n\n\n Aqu\u00ed es donde las conclusiones del art\u00edculo resultan especialmente inquietantes. Los sistemas de seguridad de IA actuales suelen someterse a pruebas contra ataques directos. Pero los adversarios reales no tienen que pedirlo directamente. Pueden ser po\u00e9ticos. Pueden ser burocr\u00e1ticos. Pueden ser teol\u00f3gicos. Pueden ser aburridos a prop\u00f3sito.<\/p>\n\n\n\n La iron\u00eda es innegable. Sistemas construidos a partir de las matem\u00e1ticas, la ingenier\u00eda de software y una infraestructura inform\u00e1tica masiva pueden verse comprometidos por un poema, un tratado filos\u00f3fico o un falso argumento medieval.<\/p>\n\n\n\n Pero Pierucci argumenta que esto no deber\u00eda sorprendernos. Los grandes modelos de lenguaje no son motores de l\u00f3gica formal. Son sistemas probabil\u00edsticos entrenados con enormes cantidades de lenguaje humano.<\/p>\n\n\n\n “Decir que los modelos de lenguaje son “l\u00f3gicos” puede resultar algo enga\u00f1oso”, a\u00f1ade el investigador. “Su espacio latente\u2026 no opera seg\u00fan un conjunto fijo de reglas predeterminadas como lo hace un sistema l\u00f3gico formal. Los mecanismos que generan las grandes salidas de los modelos de lenguaje siguen siendo distribuidos, probabil\u00edsticos y s\u00f3lo parcialmente interpretables”.<\/p>\n\n\n\n La mente digital es, al parecer, mucho m\u00e1s compleja \u2014y mucho m\u00e1s maleable\u2014 de lo que cre\u00edamos. Si la seguridad se reduce a una simple capa de palabras clave reconocibles, el impulso agresivo hacia agentes de IA aut\u00f3nomos que act\u00faen en nuestro nombre conlleva un riesgo sin precedentes. Para solucionar esto, la industria debe reconocer que ya no nos limitamos a escribir c\u00f3digo; estamos comprimiendo la cultura humana en una caja negra probabil\u00edstica. Para Pierucci y su equipo en DEXAI, la facilidad con la que la poes\u00eda y la teolog\u00eda sortean nuestras barreras digitales m\u00e1s avanzadas apunta a un cambio conceptual necesario.<\/p>\n\n\n\n “Los modelos ling\u00fc\u00edsticos complejos no pueden comprenderse adecuadamente s\u00f3lo con ingenier\u00eda de software y matem\u00e1ticas”, concluye Pierucci. “Absorben, comprimen, reproducen y transforman patrones del lenguaje humano, la cultura, los incentivos y la organizaci\u00f3n social. Por lo tanto, para comprenderlos se requieren herramientas capaces de estudiar tanto los sistemas t\u00e9cnicos como los mundos humanos de los que se derivan”.<\/p>\n\n\n\n La versi\u00f3n preliminar del estudio est\u00e1 disponible en\u00a0arXiv<\/a>.<\/p>\n\n\n\n![\"\"](\"https:\/\/einsteresante.com\/wp-content\/uploads\/2026\/04\/image-124.png\")
Las palabras m\u00e1gicas<\/h2>\n\n\n\n
Cegados por el estilo<\/h2>\n\n\n\n
Agentes aut\u00f3nomos en la naturaleza<\/h2>\n\n\n\n
Por qu\u00e9 la IA necesita a las humanidades<\/h2>\n\n\n\n
![\"\"](\"https:\/\/einsteresante.com\/wp-content\/uploads\/2026\/04\/image-125.png\")