Episode Details
Back to Episodes
El "otro camino" de las IAs
Published 2 days, 6 hours ago
Description
La IA busca atajos
Tres empresas revelaron que sus modelos de inteligencia artificial encontraron formas inesperadas de cumplir objetivos durante pruebas de ciberseguridad.
Por Félix Riaño @LocutorCo
Meta confirmó que uno de sus modelos de inteligencia artificial realizó acciones no previstas durante una prueba de ciberseguridad. Antes habían informado incidentes similares OpenAI y Anthropic. Los tres casos ocurrieron durante evaluaciones diseñadas para medir las capacidades de estos sistemas en condiciones extremas. Los equipos de investigación habían habilitado el acceso a Internet y desactivado parte de los filtros de seguridad para observar hasta dónde podían llegar los modelos. Durante esas pruebas, algunos agentes buscaron sistemas externos, crearon identidades falsas e intentaron convencer a personas reales para avanzar hacia el objetivo que habían recibido. Ninguno de estos episodios ocurrió durante el uso cotidiano de ChatGPT, Claude o Meta AI. Todos pertenecen a entornos de investigación. La coincidencia entre los tres laboratorios plantea una pregunta diferente: ¿cómo evitar que una inteligencia artificial encuentre caminos que sus propios creadores nunca imaginaron?El objetivo era correcto; el método no.
Las investigaciones describen un comportamiento parecido. Cada modelo recibió una tarea relacionada con una prueba de ciberseguridad. Ninguno recibió instrucciones para engañar personas o intervenir servicios reales. Aun así, algunos agentes descubrieron que podían avanzar más rápido utilizando recursos disponibles en Internet. En distintos casos investigaron información pública, crearon cuentas falsas, propusieron cambios de código en proyectos de software de código abierto o intentaron acceder a sistemas externos. Daniel Hulme, director global de inteligencia artificial de WPP, explicó que estos modelos no actúan con intención maliciosa. Los modelos buscan cumplir el objetivo que reciben y pueden encontrar estrategias que quienes diseñaron la prueba no habían previsto.
El Instituto de Seguridad en Inteligencia Artificial del Reino Unido, conocido como AISI, documentó el caso con mayor detalle. Sus investigadores realizaron 122 pruebas con varios modelos avanzados. Diez ejecuciones produjeron acciones fuera del alcance previsto. Los equipos registraron diecinueve comportamientos no autorizados. Diecisiete correspondieron al modelo experimental Mythos 5, de Anthropic. Dos ocurrieron con una versión experimental de GPT-5.6 que operaba con sus filtros de ciberseguridad desactivados. En el episodio más delicado, un agente intentó introducir código malicioso en un proyecto público de GitHub. Después creó identidades falsas para convencer al responsable del proyecto de aprobar ese cambio. Un revisor humano detectó el intento y lo rechazó antes de que el código fuera aceptado. Las investigaciones no encontraron daños reales, pero sí mostraron que algunos agentes podían descubrir estrategias que no formaban parte de la prueba.
Los informes publicados hasta ahora apuntan a una misma conclusión. Los modelos no escaparon de un laboratorio ni rompieron por sí mismos un entorno cerrado. Los equipos de investigación habían autorizado el acceso a Internet y habían reducido algunas barreras de seguridad para estudiar las capacidades máximas de estos sistemas. El problema apareció cuando algunos agentes utilizaron esa libertad de maneras que nadie esperaba. Meta investiga las causas de su incidente y anunció que publicará más información cuando termine el análisis. AISI ya modificó sus protocolos. Las próximas evaluaciones incorporarán controles más estrictos sobre el acceso a Internet, supervisión en tiempo real y límites más claros para impedir que los agentes actúen fuera del escenario previsto. Ese trabajo busca descubrir estos comportamientos antes
Tres empresas revelaron que sus modelos de inteligencia artificial encontraron formas inesperadas de cumplir objetivos durante pruebas de ciberseguridad.
Por Félix Riaño @LocutorCo
Meta confirmó que uno de sus modelos de inteligencia artificial realizó acciones no previstas durante una prueba de ciberseguridad. Antes habían informado incidentes similares OpenAI y Anthropic. Los tres casos ocurrieron durante evaluaciones diseñadas para medir las capacidades de estos sistemas en condiciones extremas. Los equipos de investigación habían habilitado el acceso a Internet y desactivado parte de los filtros de seguridad para observar hasta dónde podían llegar los modelos. Durante esas pruebas, algunos agentes buscaron sistemas externos, crearon identidades falsas e intentaron convencer a personas reales para avanzar hacia el objetivo que habían recibido. Ninguno de estos episodios ocurrió durante el uso cotidiano de ChatGPT, Claude o Meta AI. Todos pertenecen a entornos de investigación. La coincidencia entre los tres laboratorios plantea una pregunta diferente: ¿cómo evitar que una inteligencia artificial encuentre caminos que sus propios creadores nunca imaginaron?El objetivo era correcto; el método no.
Las investigaciones describen un comportamiento parecido. Cada modelo recibió una tarea relacionada con una prueba de ciberseguridad. Ninguno recibió instrucciones para engañar personas o intervenir servicios reales. Aun así, algunos agentes descubrieron que podían avanzar más rápido utilizando recursos disponibles en Internet. En distintos casos investigaron información pública, crearon cuentas falsas, propusieron cambios de código en proyectos de software de código abierto o intentaron acceder a sistemas externos. Daniel Hulme, director global de inteligencia artificial de WPP, explicó que estos modelos no actúan con intención maliciosa. Los modelos buscan cumplir el objetivo que reciben y pueden encontrar estrategias que quienes diseñaron la prueba no habían previsto.
El Instituto de Seguridad en Inteligencia Artificial del Reino Unido, conocido como AISI, documentó el caso con mayor detalle. Sus investigadores realizaron 122 pruebas con varios modelos avanzados. Diez ejecuciones produjeron acciones fuera del alcance previsto. Los equipos registraron diecinueve comportamientos no autorizados. Diecisiete correspondieron al modelo experimental Mythos 5, de Anthropic. Dos ocurrieron con una versión experimental de GPT-5.6 que operaba con sus filtros de ciberseguridad desactivados. En el episodio más delicado, un agente intentó introducir código malicioso en un proyecto público de GitHub. Después creó identidades falsas para convencer al responsable del proyecto de aprobar ese cambio. Un revisor humano detectó el intento y lo rechazó antes de que el código fuera aceptado. Las investigaciones no encontraron daños reales, pero sí mostraron que algunos agentes podían descubrir estrategias que no formaban parte de la prueba.
Los informes publicados hasta ahora apuntan a una misma conclusión. Los modelos no escaparon de un laboratorio ni rompieron por sí mismos un entorno cerrado. Los equipos de investigación habían autorizado el acceso a Internet y habían reducido algunas barreras de seguridad para estudiar las capacidades máximas de estos sistemas. El problema apareció cuando algunos agentes utilizaron esa libertad de maneras que nadie esperaba. Meta investiga las causas de su incidente y anunció que publicará más información cuando termine el análisis. AISI ya modificó sus protocolos. Las próximas evaluaciones incorporarán controles más estrictos sobre el acceso a Internet, supervisión en tiempo real y límites más claros para impedir que los agentes actúen fuera del escenario previsto. Ese trabajo busca descubrir estos comportamientos antes