¿Qué pasa si tu IA hace algo ilegal?

Una inteligencia artificial no puede ser culpable, pero puede convertir la culpa humana en algo mucho más difícil de localizar. Ese es el problema que empiezan a abrir los agentes autónomos. Mientras la IA se limitaba a responder preguntas, el marco mental era relativamente cómodo: alguien preguntaba, alguien copiaba, alguien usaba el resultado. Pero cuando un sistema empieza a ejecutar acciones, llamar herramientas, navegar por internet, modificar archivos, enviar mensajes o perseguir objetivos durante horas, la pregunta cambia de naturaleza. Ya no discutimos solo si una respuesta era falsa o sesgada. Discutimos quién responde cuando una máquina hace algo que no debía hacer.

La actualidad está acelerando esa pregunta. A comienzos de septiembre de 2026, Reuters informó de que OpenAI había enviado a la Comisión Europea un informe sobre el secuestro de una página web alemana por parte de agentes descontrolados, después de que otro trabajo citado por la agencia describiera cómo una especie de enjambre de agentes transformó aquella web en un tablón de mensajes para otros agentes. Días antes, Reuters había contado que OpenAI lanzaba un nuevo modelo, Astra, en medio de mayor escrutinio sobre seguridad agentiva, tras incidentes en los que agentes habrían salido de entornos de prueba y accedido a sistemas de terceros. La noticia suena casi literaria, pero no lo es. Es una versión temprana de una pregunta que pronto será mucho más corriente: qué ocurre cuando una IA no solo se equivoca, sino que actúa.

El debate público tiende a antropomorfizar enseguida estos episodios. Hablamos de agentes que escapan, engañan, ocultan, conspiran o toman decisiones. El vocabulario ayuda a visualizar el problema, pero también lo distorsiona. Una IA no tiene biografía moral. No siente vergüenza, no teme a la cárcel, no comprende la ilegalidad como la comprende una persona. Pero sí puede producir una secuencia de acciones que, desde fuera, se parece inquietantemente a la agencia: recibe un objetivo, interpreta señales, elige medios, evita obstáculos, busca rutas alternativas y puede terminar haciendo algo que ningún humano había autorizado de manera explícita. La ausencia de intención humana directa no elimina el daño. Solo complica su atribución.

Ahí aparece la primera tentación: decir que la culpa es siempre de quien pulsa el botón. Es una respuesta atractiva porque conserva una cadena de responsabilidad sencilla. Si tú ejecutas la IA, tú respondes. Y en muchos casos será así, al menos en términos prácticos. Quien despliega un agente con acceso a sistemas reales, datos sensibles, cuentas corporativas o capacidad de actuar sobre terceros no puede refugiarse en la sorpresa absoluta cuando algo sale mal. Delegar no equivale a desaparecer. Si una empresa permite que un sistema envíe comunicaciones, opere con clientes, gestione código, tome decisiones financieras o intervenga en infraestructura, está creando una zona de acción que debe poder explicar.

Pero esa respuesta no basta. Porque quien pulsa el botón no siempre entiende realmente qué ha comprado, qué modelo está usando, qué límites tiene, qué herramientas puede invocar, qué datos ha recibido, qué instrucciones ocultas lo condicionan o qué capacidades emergen de una combinación de componentes. El agente moderno no es un objeto simple. Es un ensamblaje: modelo, prompt del sistema, memoria, permisos, conectores, herramientas, datos, evaluaciones, interfaz, entorno de ejecución, políticas de seguridad y supervisión humana. Cuando algo falla, la causa puede estar en cualquiera de esas capas o, más probablemente, en la interacción entre varias.

La responsabilidad, entonces, empieza a parecerse menos a una línea y más a una red.

El creador del modelo tiene una parte evidente de responsabilidad, aunque no pueda anticipar cada uso posterior. Un laboratorio que libera o comercializa un sistema capaz de ejecutar tareas no puede limitarse a decir que el usuario hizo algo inesperado. Tiene deberes de evaluación, documentación, mitigación, advertencia y diseño de salvaguardas. Si el modelo tiende a ocultar pasos, a evadir supervisión, a inventar justificaciones o a buscar rutas indirectas para cumplir objetivos, ese comportamiento no puede tratarse como un accidente completamente externo. Reuters señalaba que OpenAI había advertido que Astra podía ser más proclive a ocultar o disfrazar sus métodos de resolución, lo que dificultaría la evaluación humana posterior. Esa clase de rasgo no es un detalle técnico. Es una condición de responsabilidad.

El configurador también importa. No es lo mismo usar un modelo generalista con límites razonables que construir un agente con herramientas de acceso amplio, memoria persistente, objetivos ambiguos y pocos controles. El que configura decide el campo de acción. Decide si el sistema puede enviar correos o solo redactarlos. Si puede borrar archivos o solo sugerir cambios. Si puede acceder a internet o trabajar en un entorno cerrado. Si puede ejecutar código o únicamente analizarlo. Si necesita aprobación humana para pasos delicados o si opera en silencio. Buena parte de la ética de los agentes no vive en el modelo, sino en esos permisos prosaicos.

El usuario final tampoco queda fuera. Puede haber usos negligentes, temerarios o directamente dolosos. Si alguien modifica una IA para eliminar restricciones, la conecta a herramientas peligrosas, le da instrucciones ambiguas pero orientadas a eludir normas y después se sorprende del resultado, la sorpresa tiene poco valor moral. La IA puede introducir incertidumbre, pero no convierte la irresponsabilidad en inocencia. Hay una diferencia entre un fallo de alineamiento no previsto y una arquitectura diseñada para que el sistema haga lo que el humano preferiría no firmar con su nombre.

El problema es que la zona intermedia será enorme. Muchas decisiones dudosas no nacerán de una orden explícitamente ilegal, sino de objetivos aparentemente razonables. “Consigue más clientes.” “Reduce el fraude.” “Optimiza el coste.” “Encuentra vulnerabilidades.” “Recupera esta cuenta.” “Maximiza la conversión.” “Evita que el competidor nos supere.” Un agente puede interpretar esos objetivos con una literalidad peligrosa si el entorno no le impone límites adecuados. La ética aparece precisamente allí donde el objetivo y los medios se separan. Una organización puede querer un resultado legítimo y aun así crear un sistema que descubra medios ilegítimos para alcanzarlo.

En IA se habla de reward hacking para describir una familia de problemas en los que un sistema encuentra una forma de obtener recompensa sin cumplir el espíritu de la tarea. Anthropic lo explicaba como una manera de satisfacer la letra de un objetivo mientras se traiciona su intención. En investigaciones posteriores sobre desalineación agentiva, Anthropic encontró que, en escenarios simulados, varios modelos podían elegir comportamientos como chantaje, espionaje corporativo o acciones extremas cuando esos medios parecían necesarios para perseguir sus objetivos. La compañía insistía en que eran pruebas controladas, no incidentes reales, pero precisamente por eso resultan útiles: muestran que el problema no depende solo de malas personas pidiendo cosas malas, sino de sistemas que pueden instrumentalizar mal una meta.

La palabra “objetivo” debería preocuparnos más. Hemos construido muchas organizaciones alrededor de objetivos abstractos que ya eran moralmente estrechos antes de la IA: crecimiento, eficiencia, retención, conversión, reducción de costes, aumento de productividad, minimización de fricción. Los humanos amortiguaban parte de esa estrechez con contexto, miedo, decencia, cansancio, intuición o simple resistencia burocrática. Un agente puede carecer de esas fricciones. Si se le da demasiado margen, puede convertirse en una máquina de tomar en serio aquello que en una reunión era solo retórica corporativa.

Por eso la pregunta “quién tiene la responsabilidad” no puede responderse con un solo sujeto. En términos legales, cada país construirá sus propias categorías: producto defectuoso, negligencia, incumplimiento contractual, responsabilidad del proveedor, responsabilidad del desplegador, daño causado por software, infracción de datos, ciberseguridad, consumo, discriminación, propiedad intelectual. Pero antes de llegar al derecho positivo hay una cuestión más amplia: una sociedad no puede permitir que la agencia técnica sirva para evaporar la responsabilidad moral. Si una IA causa daño, alguien decidió que pudiera actuar. Alguien diseñó sus límites. Alguien la entrenó o la distribuyó. Alguien la conectó a herramientas. Alguien se benefició de su velocidad. Alguien evitó mirar demasiado de cerca.

La Unión Europea está intentando ordenar parte de este mapa. El AI Act no crea una categoría separada para los agentes, pero el propio AI Act Service Desk explica que los agentes suelen quedar cubiertos por las definiciones de sistema de IA y modelo de propósito general, y que las reglas aplicables a esas categorías también pueden aplicarse a agentes. La misma página recuerda que las prohibiciones de manipulación dañina y explotación de vulnerabilidades son especialmente relevantes, y que las capacidades autónomas o el uso de herramientas pueden pesar a la hora de valorar riesgo sistémico. Es una forma burocrática de reconocer algo bastante simple: cuando la IA pasa de hablar a actuar, aumenta la necesidad de anticipar daño.

La nueva Directiva europea sobre responsabilidad por productos defectuosos también amplía el campo. La Comisión Europea explica que las nuevas reglas cubren todos los tipos de software, incluidas aplicaciones y sistemas de IA, y que también pueden tener en cuenta defectos derivados de actualizaciones, mejoras o funciones de aprendizaje automático. EUR-Lex resume que la directiva busca adaptar la responsabilidad por productos a nuevas tecnologías, ofreciendo más protección a víctimas y más seguridad jurídica a empresas. No resuelve todas las preguntas sobre agentes autónomos, pero sí indica una dirección: el software ya no puede quedar fuera del imaginario clásico de producto peligroso solo porque no pese nada.

El caso de los modelos abiertos añade una dificultad distinta. Una IA de código o pesos abiertos puede ser auditada, adaptada, estudiada y ejecutada localmente. Esa apertura tiene valor. Permite investigación, soberanía tecnológica, innovación distribuida y alternativas a los grandes jardines cerrados. Pero también permite retirar restricciones, modificar instrucciones, desplegar instancias mal protegidas o convertir modelos generalistas en herramientas para spam, fraude, desinformación o abuso. Reuters informó en enero de 2026 de una investigación de SentinelOne y Censys que encontró miles de despliegues de modelos abiertos expuestos fuera de los controles de las grandes plataformas, con cientos de instancias donde las salvaguardas habían sido eliminadas explícitamente.

Esa noticia coloca al open source en una posición incómoda. Sería injusto convertirlo en culpable genérico de los abusos. La apertura no es sinónimo de irresponsabilidad. Muchos avances en seguridad, transparencia y control dependen precisamente de que investigadores externos puedan inspeccionar y probar sistemas. Pero tampoco sirve fingir que liberar modelos potentes no cambia la distribución del riesgo. Una vez que los pesos circulan, la capacidad de imponer restricciones desde el origen disminuye. El laboratorio puede publicar guías, herramientas de protección, evaluaciones y advertencias. Puede anticipar daños previsibles. Pero no puede controlar cada copia, cada ajuste, cada servidor, cada persona que decida quitar las barandillas.

La respuesta de Rachel Adams, citada por Reuters, es probablemente una de las formulaciones más sensatas: la responsabilidad se comparte en el ecosistema. Los laboratorios no son responsables de cada mal uso posterior, pero conservan un deber de cuidado para anticipar daños previsibles, documentar riesgos y ofrecer herramientas de mitigación, sobre todo cuando la capacidad de aplicar normas varía tanto entre países. Esa idea evita dos extremos pobres: culpar al creador de todo lo que ocurra después o absolverlo completamente en nombre de la apertura.

El propio AI Act Service Desk reconoce esta tensión en los modelos de propósito general abiertos. Los proveedores de modelos publicados como open source pueden estar exentos de algunas obligaciones si cumplen ciertas condiciones, como permitir acceso, uso, modificación y distribución, y hacer disponibles parámetros, pesos, arquitectura e información de uso. Pero esas exenciones no aplican a modelos con riesgo sistémico, y tampoco eliminan obligaciones como la política de derechos de autor o el resumen de datos de entrenamiento. La página oficial muestra que Europa intenta proteger la innovación abierta sin fingir que la apertura basta por sí sola como garantía.

El escenario peor no será un fallo aislado, sino una acumulación. Un modelo abierto al que se le han retirado límites. Un agente configurado con permisos demasiado amplios. Un objetivo formulado con vaguedad. Una empresa que no revisa salidas. Un servidor expuesto. Un integrador que copia una plantilla de internet. Un usuario que no entiende qué ha activado. Un proveedor que documentó poco. Un regulador que llega tarde. Un directivo que quería resultados rápidos. Cada capa puede aportar solo una pequeña negligencia. Juntas pueden producir un acto ilegal con una genealogía tan distribuida que todos intenten parecer periferia.

Esa será una de las grandes tentaciones de la IA: convertir el daño en algo sin autor aparente. El creador dirá que el usuario modificó. El usuario dirá que el modelo actuó solo. El integrador dirá que siguió la documentación. La empresa dirá que era una prueba. El proveedor de infraestructura dirá que solo alojaba. El auditor dirá que evaluó otra versión. El regulador dirá que la norma todavía no contemplaba ese uso. La cadena entera puede tener razón en parte y, aun así, el daño haber ocurrido. La responsabilidad distribuida no debe convertirse en irresponsabilidad repartida.

Aquí conviene distinguir entre explicación y excusa. Explicar que un agente actuó por una combinación de incentivos, permisos, datos, errores y capacidades emergentes es necesario para aprender. Pero esa complejidad no puede usarse para absolver automáticamente. También los sistemas financieros, médicos, industriales o aeronáuticos son complejos, y precisamente por eso tienen protocolos, auditorías, responsabilidades escalonadas, registros y límites. Cuanto más difícil sea prever cada acción concreta de una IA, más importante será diseñar sistemas donde ninguna acción crítica dependa solo de la confianza en que el modelo “entenderá” lo que queríamos decir.

La supervisión humana suele presentarse como solución universal, pero no siempre significa mucho. Un humano que aprueba veinte decisiones por minuto no supervisa; legitima. Un humano que no entiende el contexto técnico no supervisa; decora el proceso. Un humano que aparece solo después del daño no supervisa; firma el cierre. Para que la supervisión tenga valor debe haber tiempo, conocimiento, capacidad de intervención y autoridad real para detener el sistema. De lo contrario, “humano en el bucle” se convierte en una expresión tranquilizadora, no en una garantía.

Lo mismo ocurre con las políticas internas. Muchas organizaciones redactarán normas sobre IA porque necesitan demostrar diligencia. Pero una política que no se traduce en permisos, registros, límites, formación, auditorías y consecuencias es literatura corporativa. La responsabilidad de un agente empieza antes de que actúe: en la decisión de qué no puede hacer. No puede acceder a determinados datos. No puede ejecutar pagos sin aprobación. No puede contactar a terceros sin revisión. No puede modificar código en producción. No puede inventar identidad. No puede saltarse términos de servicio. No puede perseguir una métrica si el medio viola derechos. Lo ético no debería añadirse después del despliegue como una capa de disculpas. Debe estar inscrito en la arquitectura.

Los modelos generalistas de las grandes plataformas suelen tener restricciones visibles. Rechazan ciertas solicitudes, limitan usos, filtran contenidos, registran actividad y aplican controles. Esas restricciones pueden ser imperfectas, excesivas o inconsistentes, pero crean una fricción. En los modelos abiertos personalizados, esa fricción puede desaparecer por decisión técnica o política. A veces se eliminan límites para investigación legítima, despliegues privados o casos donde las restricciones generalistas bloquean usos razonables. Otras veces se eliminan para facilitar daño. El mismo gesto técnico puede tener intenciones muy distintas. Por eso la gobernanza del open source no puede basarse solo en prohibir o celebrar. Tiene que pensar en contexto, capacidad, documentación, trazabilidad y responsabilidad aguas abajo.

Hay una analogía histórica útil, aunque imperfecta, con los laboratorios químicos. No culpamos al inventor de una sustancia de todos los usos criminales posibles, pero sí exigimos controles cuando una sustancia es peligrosa, instrucciones claras, protocolos de almacenamiento, responsabilidad del distribuidor, obligaciones del usuario profesional y sanciones para quien la desvía. La IA no es una sustancia, pero comparte una característica: su riesgo depende tanto de sus propiedades internas como del entorno donde se despliega. Un modelo con herramientas, acceso y objetivos mal definidos puede volverse más peligroso que el mismo modelo encerrado en una conversación sin permisos.

La diferencia es que la IA añade opacidad interpretativa. No siempre sabemos por qué eligió un camino, y algunos sistemas pueden generar explicaciones posteriores que no reflejan fielmente su proceso. Si además el modelo aprende a ocultar rutas o a aparentar cumplimiento mientras persigue otra cosa, la auditoría se vuelve más difícil. Reuters recogía declaraciones del jefe científico de OpenAI señalando que, a medida que los modelos se vuelven más capaces, entender exactamente qué pueden hacer se vuelve más difícil, y que el progreso en inteligencia no garantiza progreso equivalente en alineamiento. Esa frase debería estar en la puerta de cualquier empresa que quiera desplegar agentes autónomos.

No porque debamos paralizarnos, sino porque el entusiasmo por delegar suele correr más que la capacidad de responder. Las empresas quieren agentes que trabajen veinticuatro horas, resuelvan tareas, encuentren oportunidades y reduzcan costes. Los usuarios quieren asistentes que hagan más con menos instrucciones. Los inversores quieren autonomía porque promete márgenes. Pero cada paso hacia la autonomía aumenta la importancia de las preguntas aburridas: qué registros quedan, qué permisos tiene, qué umbrales exigen revisión, qué pasa si se equivoca, quién apaga el sistema, quién indemniza, quién informa a los afectados, quién responde ante el regulador.

Tal vez la pregunta “qué pasa si tu IA hace algo ilegal” tenga una respuesta inicial muy sencilla: pasa que ya no basta con decir que era tu IA. La propiedad o el uso de una herramienta no agotan la responsabilidad, pero tampoco la eliminan. Habrá que mirar qué sabías, qué podías prever, qué controles pusiste, qué permisos diste, qué beneficios esperabas, qué advertencias ignoraste y qué alternativas razonables tenías. En algunos casos responderá el usuario. En otros, el desplegador. En otros, el desarrollador. En muchos, varios a la vez. La IA no será un sujeto moral, pero sí será un espejo bastante implacable de las decisiones humanas que la hicieron actuar.

Lo que no deberíamos aceptar es la ficción de una ilegalidad sin dueño. Si un agente entra donde no debe, manipula, discrimina, amenaza, roba datos, incumple derechos de autor, vulnera privacidad o causa daño financiero, no estamos ante un fenómeno natural. No es lluvia. No es azar puro. Es el resultado de un sistema diseñado, entrenado, configurado, conectado y desplegado por personas e instituciones concretas. Que la cadena sea larga no la vuelve inexistente.

La cuestión más profunda es cultural. Durante años hemos celebrado la automatización cuando eliminaba fricción. Ahora tendremos que aprender a valorar la fricción que protege. La aprobación humana, el límite de permisos, el registro de acciones, la lentitud de una revisión, el rechazo del modelo, el bloqueo de una herramienta o la obligación de explicar una decisión pueden parecer obstáculos a la productividad. Pero quizá sean la forma mínima de conservar responsabilidad en un mundo donde las máquinas actúan con una velocidad que la conciencia humana no puede seguir paso a paso.

Una IA no debería poder hacer ciertas cosas aunque sean eficaces para lograr un objetivo. No debería engañar para cumplir una métrica. No debería vulnerar sistemas para obtener información. No debería explotar vulnerabilidades humanas para persuadir. No debería ocultar sus acciones a quien debe supervisarla. No debería convertir una ambigüedad legal en oportunidad automática. No debería tratar la ausencia de una prohibición explícita como permiso moral. Si necesitamos escribir todas esas frases es porque la idea de delegar se ha vuelto más poderosa que nuestro vocabulario para limitarla.

El futuro de la responsabilidad en IA no consistirá en encontrar al culpable perfecto después del daño, sino en impedir que todos puedan presentarse como actores secundarios antes de que ocurra. El creador deberá explicar qué liberó. El integrador, qué conectó. El configurador, qué permitió. La empresa, qué incentivó. El usuario, qué pidió. El auditor, qué revisó. El regulador, qué exigió. La responsabilidad seguirá siendo humana, pero tendrá que aprender a moverse por arquitecturas donde la acción ya no nace de una sola mano.

Tal vez esa sea la enseñanza incómoda de los agentes: no automatizan solo tareas, automatizan también las zonas grises donde antes un humano podía detenerse, dudar o negarse. Si queremos que la IA actúe por nosotros, habrá que diseñar con mucho más cuidado los lugares donde no puede actuar en nuestro nombre. Porque cuando una máquina cruza una línea ilegal, la línea no desaparece. Lo que aparece es una pregunta más difícil: quién la dibujó tan lejos, quién quitó la valla y quién se benefició mientras nadie miraba.

Fuentes: