El algoritmo decidió. ¿Y ahora quién responde?

Hay una frase que cualquiera que haya tratado alguna vez con un banco, una compañía telefónica, una aseguradora, una aerolínea o prácticamente cualquier gran empresa conoce perfectamente: «Lo siento, es el sistema. No me deja».

La hemos asumido con una naturalidad sorprendente. El empleado que tenemos delante quizá comprende perfectamente nuestro problema e incluso está de acuerdo con nosotros, pero existe una autoridad superior contra la que aparentemente ninguno de los dos puede hacer nada. El sistema no permite devolver aquel recibo, modificar esa tarifa, aplicar aquella excepción o corregir determinada incidencia. No sabemos quién decidió que fuera así, pero la conversación termina porque hemos llegado al último peldaño de la jerarquía: el sistema.

Siempre me ha parecido fascinante esa expresión porque consigue algo lingüísticamente extraordinario. Convierte una decisión humana en un fenómeno casi natural. Como si el sistema hubiera aparecido espontáneamente, igual que una tormenta, y tanto el cliente como el trabajador fueran víctimas impotentes de sus designios.

Por supuesto, nunca fue así. Alguien decidió programar aquella regla. Alguien estableció que, cumplida determinada condición, la aplicación debía impedir realizar una determinada acción. Tal vez existieran excelentes razones para hacerlo y probablemente el empleado que pronunciaba aquel «no me deja» no tuviera ninguna capacidad para cambiarlo. Pero detrás del sistema seguía habiendo decisiones empresariales, procesos, responsables y criterios definidos por personas.

La inteligencia artificial introduce ahora una diferencia importante. Ya no hablamos solamente de sistemas que ejecutan reglas del tipo «si ocurre A, haz B». Los nuevos modelos pueden clasificar, puntuar, priorizar, recomendar, predecir e incluso actuar con grados crecientes de autonomía. Pueden intervenir en la selección de candidatos a un empleo, la concesión de financiación, la detección de fraude, el cálculo de riesgos, la moderación de contenidos, la fijación de prioridades o centenares de decisiones empresariales.

Y entonces el viejo «es el sistema» empieza a transformarse en una frase todavía más peligrosa:

«Lo decidió el algoritmo».

El problema no está en que utilicemos algoritmos para ayudarnos a decidir. Sería absurdo pretenderlo. Llevamos décadas delegando cálculos y procesos en máquinas y la inteligencia artificial puede mejorar extraordinariamente muchas decisiones humanas. El problema comienza cuando esa delegación del trabajo acaba convirtiéndose también en una delegación de la responsabilidad.

Porque los algoritmos no llegan solos a las empresas. Alguien decide utilizarlos. Alguien escoge qué problema deben resolver, qué objetivo deben optimizar, qué datos pueden emplear, qué margen de autonomía tendrán, qué nivel de error se considera aceptable y en qué momento un resultado automático tendrá consecuencias para una persona.

Incluso en los sistemas de inteligencia artificial más avanzados, donde resulta imposible prever exactamente cada respuesta concreta, siguen existiendo decisiones humanas anteriores. Tal vez nadie haya escrito una instrucción que diga expresamente «rechaza a esta persona». Pero alguien decidió desplegar un modelo con determinadas capacidades en determinado contexto y confiarle determinada parte del proceso de decisión.

Eso cambia la forma de la responsabilidad, pero no debería hacerla desaparecer.

Quienes llevamos años trabajando en tecnología sabemos que esta discusión no puede resolverse caricaturizando la inteligencia artificial como una especie de voluntad autónoma que ha escapado repentinamente de nuestras manos. En mi caso, trabajando ahora también en sistemas y agentes basados en IA, lo veo desde una posición especialmente interesante: una parte creciente del valor de estas herramientas consiste precisamente en que sean capaces de actuar sin que un humano tenga que indicar cada uno de sus movimientos. Si exigimos supervisión humana manual en absolutamente todo, destruimos buena parte de la utilidad que estamos intentando crear.

Pero autonomía no puede significar irresponsabilidad.

Esa distinción empieza a preocupar también al Derecho. El Reglamento europeo de Inteligencia Artificial incorpora para determinados sistemas considerados de alto riesgo obligaciones de supervisión humana, trazabilidad y capacidad de intervención. La filosofía que subyace a estas exigencias es importante: no basta con colocar simbólicamente a una persona delante de la máquina. Quien supervisa debe poder comprender razonablemente sus capacidades y limitaciones, interpretar sus resultados y, cuando proceda, ignorarlos, revertirlos o detener el sistema.

Hay una razón muy concreta para ello. Uno de los riesgos más interesantes de la automatización es que puede producir exactamente el efecto contrario al que supuestamente persigue la supervisión humana. En lugar de que la persona controle a la máquina, acaba limitándose a confirmar lo que la máquina ha decidido. Si un algoritmo lleva años acertando en el 97% de los casos, ¿cuánto tiempo tardará un empleado en dejar de cuestionar sus recomendaciones?

El humano sigue formalmente «en el circuito», pero quizá ya no esté realmente decidiendo nada.

El Tribunal de Justicia de la Unión Europea se encontró hace unos años con una versión especialmente ilustrativa de este problema en el caso SCHUFA. La empresa calculaba automáticamente una puntuación sobre la capacidad de una persona para atender sus obligaciones de pago, y esa puntuación era después utilizada por terceros para tomar decisiones. El Tribunal consideró que ese tipo de cálculo automatizado podía quedar comprendido dentro del régimen de decisiones automatizadas del artículo 22 del Reglamento General de Protección de Datos cuando desempeñara un papel determinante en la decisión final.

La pregunta que había debajo de toda aquella complejidad jurídica era extraordinariamente sencilla: ¿quién ha decidido realmente?

La empresa que calculó la puntuación podía alegar que ella no había denegado ningún crédito. Se había limitado a producir un número. El banco podía responder que simplemente había utilizado una evaluación externa de riesgo. Y entre uno y otro, una persona podía encontrarse con una decisión que afectaba directamente a su vida sin saber exactamente quién debía explicársela.

Ese es uno de los grandes desafíos jurídicos que traerá la inteligencia artificial. Tradicionalmente resulta relativamente sencillo imaginar una cadena de responsabilidad. Un médico toma una decisión, una empresa fabrica un producto, un conductor provoca un accidente, una administración dicta una resolución. Puede resultar difícil probar qué ocurrió, pero conceptualmente sabemos dónde buscar.

Con los sistemas de inteligencia artificial esa cadena puede fragmentarse. En una misma decisión pueden intervenir el creador del modelo, quien lo ha entrenado o adaptado, la empresa que proporciona la infraestructura, quien integra el sistema en una aplicación, la compañía que lo utiliza, los responsables que establecieron sus parámetros y, finalmente, la persona que aceptó su recomendación.

¿Quién responde entonces si algo sale mal?

La pregunta se vuelve todavía más complicada porque responsabilidad no significa necesariamente culpabilidad. No tendría sentido considerar automáticamente culpable al creador de un modelo por cualquier comportamiento imprevisible de un sistema utilizado posteriormente por miles de empresas para finalidades completamente diferentes. Pero tampoco parece razonable que la complejidad tecnológica termine convirtiéndose en una especie de agujero negro jurídico donde todos participaron en la decisión y, precisamente por eso, nadie responda por ella.

La legislación europea sobre productos defectuosos ya ha comenzado a adaptarse a este nuevo escenario. La Directiva (UE) 2024/2853 incluye expresamente el software dentro del concepto de producto a estos efectos y contempla también los sistemas de inteligencia artificial, actualizando un régimen de responsabilidad diseñado originalmente para una economía en la que un producto defectuoso era mucho más fácil de imaginar como un objeto físico que como unas líneas de código capaces de evolucionar mediante actualizaciones.

Pero probablemente será la jurisprudencia de los próximos años la que tenga que dibujar muchas de las fronteras verdaderamente difíciles.

Imaginemos que un sistema de inteligencia artificial recomienda no contratar a una persona. Nadie ha programado expresamente esa discriminación. El modelo ha encontrado determinadas correlaciones en los datos y las ha incorporado a su valoración. La empresa sostiene que un responsable humano revisó el resultado, aunque en la práctica ese responsable confirma casi siempre las recomendaciones de la máquina. ¿Quién tomó la decisión?

O pensemos en un agente de IA con capacidad para realizar determinadas operaciones dentro de una empresa. Sus responsables establecieron unos objetivos generales y unas limitaciones, pero el agente escogió por sí mismo la secuencia concreta de acciones que terminó causando un perjuicio. ¿Hasta dónde llega la responsabilidad del desarrollador? ¿Y la de la empresa que decidió concederle aquella autonomía? ¿Puede alguien excusarse diciendo que aquella acción concreta no estaba prevista?

Son preguntas que vamos a escuchar cada vez más porque la inteligencia artificial está desplazando lentamente el lugar donde se ejerce el poder. Y el poder no consiste únicamente en gobernar países o dirigir grandes instituciones. También ejerce poder quien decide quién obtiene un préstamo, qué candidato llega a una entrevista, qué contenido puede difundirse, qué cliente es considerado sospechoso o qué ciudadano merece una determinada prestación.

Por eso deberíamos empezar a desconfiar de la frase «el algoritmo decidió».

No porque sea técnicamente falsa en todos los casos. Cada vez habrá más sistemas capaces de tomar decisiones operativas genuinamente autónomas. Debemos desconfiar de ella porque puede convertirse en una extraordinaria herramienta para borrar de la conversación a quienes decidieron conceder ese poder al algoritmo.

Hay algo profundamente cómodo en transformar la tecnología en sujeto gramatical. «La inteligencia artificial rechazó la solicitud». «El algoritmo suspendió la cuenta». «El sistema determinó que existía riesgo». De repente parece que nadie hizo nada.

Pero alguien escogió el sistema. Alguien decidió confiar en él. Alguien estableció hasta dónde podía llegar y alguien decidió qué ocurriría cuando emitiera determinado resultado.

Quizás la gran discusión de los próximos años no consista únicamente en decidir qué cosas pueden hacer las máquinas, sino en algo bastante más incómodo: determinar qué responsabilidades siguen perteneciendo a los humanos después de haber decidido que las máquinas las hagan por nosotros.

Durante años aceptamos resignadamente el «es el sistema, no me deja». Ahora estamos construyendo sistemas incomparablemente más potentes, capaces no sólo de impedir acciones previamente programadas, sino de interpretar situaciones, recomendar decisiones e incluso actuar.

Será magnífico si eso nos permite delegar cada vez más trabajo.

Lo peligroso sería que descubriéramos, demasiado tarde, que también habíamos encontrado la forma perfecta de delegar la culpa.

Porque el algoritmo puede ejecutar una decisión.

Lo que no puede hacer es heredarnos la responsabilidad.