Hace poco, publiqué un post en X con una interesante paradoja; porque hay un riesgo de la inteligencia artificial del que hablamos bastante menos que del de las alucinaciones, los empleos que puede sustituir o los errores que todavía comete. Y quizás sea más difícil de resolver precisamente porque empieza a aparecer cuando la tecnología funciona bien.

Lo he llamado la paradoja del artesano de la IA.

Necesitamos criterio humano para construir máquinas cada vez mejores. Personas que seleccionan, evalúan y enseñan a los sistemas qué respuestas son mejores y cuáles no. Ingenieros, matemáticos y especialistas de todo tipo entrenan y aportan conocimiento humano para conseguir que la IA sea cada vez más capaz. Y hasta aquí, no hay nada extraño; pero la paradoja aparece después. Cuanto mejor funciona esa máquina, menos necesidad sentimos de supervisarla. Y cuanto menos la supervisamos, menos ejercitamos precisamente el criterio que necesitaremos el día que se equivoque. 

Además, es algo que puede ocurrir de manera espontánea. Basta con que la IA acierte casi siempre.

Cuando no se enciende ningún piloto rojo

En una fábrica estamos acostumbrados a diseñar sistemas de control bastante fáciles de entender. Una máquina trabaja dentro de unos determinados parámetros. Si la temperatura supera cierto nivel, se enciende una luz. Si la presión llega a un límite peligroso, salta una alarma. Si un sensor detecta una anomalía grave, incluso puede detenerse toda la línea de producción. La automatización industrial lleva décadas perfeccionando estos mecanismos porque sabemos que una máquina puede fallar. No esperamos necesariamente que haya una persona mirando permanentemente cada engranaje para descubrirlo. Tenemos pilotos; pero con la inteligencia artificial el problema es bastante más complicado.

Supongamos que pedimos a una IA que resuma un documento de veinte páginas y nos entrega un resumen magníficamente escrito, claro y aparentemente coherente. ¿Dónde colocamos el piloto que se encienda si ha interpretado mal un párrafo?

Un programador pide a una IA que escriba una función. El código compila, funciona y supera las primeras pruebas; pero... ¿Qué luz roja se encenderá para advertirle de que existe un problema que solo aparecerá dentro de seis meses bajo una circunstancia muy concreta?

O imaginemos a un abogado que recibe un primer borrador impecablemente redactado; a un médico que consulta un sistema de apoyo al diagnóstico; a un directivo que pide un análisis de un informe financiero, o a un periodista que utiliza una IA para ordenar la documentación que ha reunido.

El problema no es un fallo en sí mismo; el problema es que muchos de esos fallos pueden tener exactamente la misma apariencia que sus aciertos.

No siempre hay un ruido extraño, una temperatura anormal o una pieza que sale torcida de la cadena. Puede haber simplemente una frase perfectamente escrita que no es cierta. Y eso cambia completamente el problema de la supervisión.

El peligro no es que la IA funcione mal

Hay algo paradójico en todo esto. Una IA que fallase una de cada tres veces probablemente nos preocuparía poco desde el punto de vista de la dependencia. No confiaríamos en ella y comprobaríamos todo. El problema empieza cuando acierta una vez, otra, otra y otra. Cuando durante semanas nos ofrece respuestas correctas. Cuando descubrimos que nos ahorra media hora cada mañana. Cuando aquello que inicialmente revisábamos palabra por palabra empieza a parecernos rutinario. La quinta vez comprobamos; la número cincuenta, quizás también; ¿y la número mil?

Nuestro comportamiento cambia porque es perfectamente racional que cambie. Si durante meses una herramienta nos demuestra que funciona, empezamos a dedicar nuestra atención a otras cosas. Esto no es una debilidad particular de quienes utilizan inteligencia artificial; llevamos ya décadas estudiando este fenómeno en sistemas automatizados.

En 1983, la psicóloga e investigadora Lisanne Bainbridge publicó en la revista Automatica un trabajo que se convertiría en una referencia en este campo: Ironies of Automation. Su planteamiento contenía una paradoja que hoy resulta sorprendentemente actual. Cuanto más automatizamos el funcionamiento normal de un sistema, más relegamos al operador humano a ocuparse de las situaciones excepcionales. Pero, al intervenir cada vez menos en el funcionamiento cotidiano, ese operador puede perder precisamente la práctica y el conocimiento que necesitará cuando aparezca la excepción.

Décadas después, la investigación ha seguido estudiando fenómenos como el automation bias, la complacencia ante la automatización o el exceso de confianza en sistemas de apoyo a la decisión. Y el problema no ha desaparecido con una tecnología mejor. Al contrario: una revisión reciente sobre sistemas de inteligencia artificial con humanos dentro del proceso señalaba algo especialmente relevante para esta discusión: cuando las personas se acostumbran a niveles muy altos de precisión de la IA, disminuye su capacidad para detectar sus errores. Y aquí está el warning.

El éxito de la inteligencia artificial puede convertirse en una de las razones por las que dejamos de supervisarla correctamente.

No porque funcione “demasiado bien” en sentido literal, sino porque funciona bien con suficiente frecuencia para convencernos de que comprobar cada resultado ha dejado de merecer el esfuerzo.

Poner un humano en el proceso no resuelve el problema; al menos no del todo

Por eso se habla tanto del human in the loop: mantener a una persona dentro del proceso para supervisar, validar o corregir las decisiones de la máquina. Sobre el papel parece una solución impecable, la IA hace el trabajo y una persona lo revisa. Pero hay una enorme diferencia entre tener un humano en el proceso y tener criterio humano en el proceso; porque una persona que recibe cien resultados correctos seguidos y pulsa cien veces «aceptar» puede estar formalmente dentro del circuito y, sin embargo, haber dejado de supervisar realmente el sistema, o como vulgarmente se dice, no tener la cabeza en ello.

Pensemos en algo mucho más cotidiano. Hay quien conduce siguiendo el navegador del coche. Al principio lo hace prestando atención a la ruta. Después de un rato empieza simplemente a obedecer las indicaciones. «En 300 metros, gire a la derecha». Gira. «Tome la segunda salida». La toma. Hasta que un día el navegador pretende meterle por una calle cortada; entonces levanta la cabeza y piensa: ¿pero dónde me está llevando?

La diferencia es que una calle cortada suele ser visible. Muchos errores de una IA no lo son.

Por eso el human in the loop no puede consistir simplemente en colocar a una persona al final de una cadena automática y considerar que el problema está resuelto. Esa persona necesita conocimiento, tiempo, capacidad para cuestionar el resultado y, sobre todo, mantener activo su propio criterio. Si deja de tenerlo, el humano continúa en el loop, pero solo administrativamente.

El artesano corre el riesgo de entregar sus propias herramientas

Aquí aparece la parte que más me interesa de la paradoja. Estamos utilizando conocimiento humano para construir máquinas extraordinariamente capaces. La mejora de estos sistemas depende todavía de cantidades enormes de juicio humano; ya que alguien debe decidir qué es correcto, qué es mejor, qué es relevante, qué resulta peligroso, qué respuesta tiene más sentido o qué solución está mejor construida.

El ser humano no es simplemente la materia prima de los datos; también es, en buena medida, el artesano que ayuda a perfeccionar la herramienta. Después entregamos esa herramienta a los profesionales. Y entonces, puede producirse un movimiento muy extraño. Resulta que el médico, que antes construía mentalmente todo un razonamiento, puede acostumbrarse a no hacerlo y partir de una propuesta de la IA. O el programador que investigaba un error desde cero puede que empiece ya siempre preguntándole primero al modelo. O el analista partir de una síntesis ya elaborada, el escritor dejar de enfrentarse a la página en blanco o el estudiante llegar a la respuesta antes de haber recorrido el camino necesario para comprenderla.

Nada de esto significa que no deban utilizar la IA; sería absurdo defenderlo, del mismo modo que una calculadora no obliga a un ingeniero a hacer las multiplicaciones a mano. El progreso consiste precisamente en dejar de dedicar esfuerzo humano a tareas que una herramienta puede hacer mejor o más rápido. La cuestión aquí es otra. Se trata de saber qué parte del esfuerzo que estamos eliminando era simplemente trabajo mecánico y qué parte estaba manteniendo vivo nuestro criterio. Y la frontera -aquí- no siempre es evidente.

El criterio también necesita entrenamiento

Esto tiene una consecuencia que deberíamos empezar a tomarnos en serio. Tendemos a hablar del conocimiento profesional como si fuese una propiedad que se adquiere y después permanece almacenada. Uno aprende medicina, programación, derecho, periodismo o contabilidad y, a partir de entonces, “sabe”. Pero una parte importante del criterio profesional se mantiene precisamente porque se ejerce.

Se comparan casos. Se encuentran excepciones. Se cometen errores. Se duda. Se buscan datos que contradigan una primera impresión. Se descubre que algo que parecía evidente no lo era... Eso construye experiencia.

Si progresivamente entregamos a la máquina buena parte de ese recorrido cognitivo, tendremos que encontrar otra manera de conservarlo. Y aquí está, probablemente, uno de los grandes retos del human in the loop que viene. No será suficiente con exigir que una persona firme la decisión final. Habrá que diseñar procesos en los que siga teniendo ocasiones reales de pensar independientemente de la máquina.

En determinados trabajos quizá tenga sentido revisar aleatoriamente resultados desde cero, sin conocer primero la respuesta de la IA. En otros será necesario reservar determinadas decisiones al profesional. También habrá tareas en las que el sistema deba mostrar dudas, fuentes o grados de confianza en lugar de entregar una respuesta aparentemente definitiva. Incluso puede que tengamos que introducir deliberadamente cierta fricción. Y es curioso, porque llevamos treinta años utilizando la tecnología para eliminar fricción. Un proceso automático es mejor que uno manual y una respuesta inmediata es mejor que esperar. En general esto sigue siendo cierto; pero cuando la fricción que eliminamos era precisamente el momento en el que alguien se detenía a pensar, quizás convenga analizar mejor qué es lo que estamos quitando.

La reputación también depende de saber cuándo desconfiar

Quienes llevamos años trabajando en estrategia digital y reputación online sabemos que algunos errores tienen una característica especialmente incómoda. Sabemos que pueden ser pequeños en origen y enormes en sus consecuencias. Una información falsa incluida en un largo informe o una afirmación publicada sin comprobar pueden acabar teniendo un coste muy superior al tiempo que se ahorró evitando la revisión. Y con la IA este problema adquiere otra dimensión, porque su capacidad para producir resultados convincentes es extraordinaria. Ya no estamos ante aquellos errores informáticos que llegaban acompañados de una pantalla incomprensible o un mensaje que decía «ERROR». El error puede tener una prosa magnífica y eso nos obliga a cambiar nuestra idea de supervisión.

No necesitamos simplemente personas que comprueben si la máquina funciona. Necesitamos profesionales capaces de darse cuenta de cuándo una respuesta que parece funcionar merece ser cuestionada. Y esa capacidad hay que conservarla a toda costa.

El humano no puede convertirse en el piloto que nunca se enciende

No creo que la conclusión de todo esto sea que debamos utilizar menos inteligencia artificial. Probablemente ocurrirá lo contrario. No, "seguramente" ocurrirá lo contrario. Porque la utilizaremos muchísimo más y, en muchos ámbitos, sería absurdo renunciar a las mejoras de productividad y de calidad que puede proporcionar.

Pero la cuestión es qué haremos con el criterio humano que queda liberado y la mejor respuesta sería utilizarlo para cosas más difíciles. Que la máquina se encargue de aquello que puede resolver bien y que nosotros dediquemos más atención a las excepciones, las decisiones ambiguas, las consecuencias, el contexto, la monitorización, el control, la calidad, ¡la empatía! Y todo aquello que todavía necesita auténtico juicio humano; pero solo funcionará si seguimos siendo capaces de ejercerlo. 

Porque en una fábrica podemos instalar una luz roja que avise de que la temperatura ha superado los 100 grados; pero en inteligencia artificial habrá ocasiones en las que el piloto rojo tendrá que ser una persona que mire una respuesta aparentemente perfecta y diga: un momento, aquí hay algo que no me cuadra.

Y para conseguirlo, no bastará simplemente con tenerla in the loop; tendremos que procurar que siga ahí, pero pensando y aportando el valioso criterio humano. Escoger a quién