¿Sol o Astra? Cómo elegir un modelo de IA sin saber de modelos de IA

Cada vez que aparece un nuevo modelo de inteligencia artificial vuelve la misma pregunta. ¿Cuál es mejor?

Es comprensible. Durante muchos años hemos aprendido a comprar tecnología comparando números. Un procesador tenía más gigahercios que otro, una cámara ofrecía más megapíxeles, un disco tenía más capacidad y un coche más caballos. Con la inteligencia artificial intentamos hacer algo parecido y buscamos una tabla, miramos quién está arriba y suponemos que ése será el modelo que deberíamos utilizar. El problema es que con la IA empieza a no funcionar así.

Una comparación publicada por OrcaRouter entre GPT-6.1 Sol y GPT-6 Astra me parece especialmente buena para explicarlo porque, a primera vista, el resultado podría parecer desconcertante. En las pruebas que utiliza el artículo, Astra consigue 52,7 puntos en su índice de inteligencia y Sol 51,8. La distancia entre ambos es pequeña. En cambio, utilizando las tarifas de API vigentes en el momento de escribir estas líneas, Astra cuesta cinco veces más por los tokens de entrada y de salida. Entonces, ¿para qué pagar cinco veces más?

La respuesta es precisamente la que nos permite entender cómo deberíamos empezar a comparar modelos; porque 51,8 frente a 52,7 no significa que ambos sean iguales, del mismo modo que pagar cinco veces más tampoco significa obtener cinco veces más inteligencia. Ahí está la gracia.

No estamos comprando inteligencia al kilo

OpenAI define actualmente GPT-6 Astra como su modelo más capaz para los trabajos más exigentes, mientras que presenta GPT-6.1 Sol como una opción que busca acercarse a ese nivel de rendimiento reduciendo considerablemente el coste. De hecho, su propia documentación recomienda comparar ambos sobre las tareas reales que vayamos a realizar y valorar qué equilibrio necesitamos entre calidad, velocidad y precio. Y esto último es mucho más importante que memorizar ninguna puntuación.

Imaginemos que queremos revisar veinte textos, extraer información de documentos y clasificar o analizar datos siguiendo unas instrucciones bastante claras. Probamos Sol y los resultados son buenos. Cumple lo que necesitamos, apenas comete errores y el trabajo acaba siendo revisado después por una persona. En ese caso, que Astra sea algo más capaz importa relativamente poco.

Ahora imaginemos otra situación. Estamos intentando resolver un problema de programación especialmente complicado, diseñar la arquitectura de un sistema, cruzar documentación contradictoria o pedir a la IA que tome una gran cantidad de información y produzca un resultado final que debe ser muy preciso. Aquí una pequeña diferencia de capacidad puede valer mucho más que la diferencia de precio. Y no porque Astra sea mágicamente cinco veces mejor, sino porque estamos utilizando la herramienta en un punto donde ese margen adicional puede empezar a importar.

Es algo que he visto muchas veces en tecnología; bastante antes de que empezáramos a discutir sobre modelos de IA. La herramienta técnicamente más potente no es necesariamente la más adecuada para cada trabajo. Lo importante es descubrir en qué momento las prestaciones adicionales dejan de ser bonitas sobre el papel y empiezan realmente a ahorrarnos errores, tiempo o trabajo. Con los modelos de inteligencia artificial tendremos que adquirir exactamente esa costumbre.

Por eso los benchmarks de IA -esas pruebas que intentan medir cuánto sabe, razona o programa un modelo- son útiles, pero tienen un límite evidente; ya que no conocen nuestro trabajo.

Que un modelo consiga unos puntos más en una batería de pruebas matemáticas, científicas o de programación nos ofrece información sobre sus capacidades, pero no nos dice automáticamente si escribirá mejor la descripción de nuestros productos, entenderá mejor nuestras instrucciones internas o será más eficaz analizando los documentos con los que trabajamos cada día.

De hecho, OpenAI recomienda algo sorprendentemente sencillo: probar distintos modelos con los mismos ejemplos y quedarse con la opción más ligera que alcance el nivel de calidad que necesitamos.

No hace falta montar un laboratorio para hacerlo. Si utilizamos habitualmente la IA para cinco tipos de trabajo, podemos coger varios ejemplos reales, enviarlos a dos modelos y comparar los resultados. Quizás descubramos que uno claramente es mejor. También puede ocurrir algo mucho más interesante: que no seamos capaces de distinguirlos en cuatro de esas cinco tareas. Y en ese momento el precio deja de ser un detalle.

Y esto será todavía más importante cuando las empresas empiecen a utilizar masivamente agentes de IA, porque ya no hablaremos de pagar unos céntimos más para hacer una consulta, sino de sistemas que pueden realizar miles de operaciones. Un pequeño exceso repetido cien mil veces deja rápidamente de ser pequeño.

Hay también una confusión anterior: ChatGPT no es GPT

Aquí conviene detenerse porque incluso personas que utilizan inteligencia artificial todos los días mezclan conceptos que parecen iguales y no lo son.

Cuando entramos en la web o en la aplicación de ChatGPT, estamos utilizando un producto de OpenAI. Dentro de ese producto puede haber distintos modelos, pero también hay muchas más cosas: gestión de archivos, búsqueda, memoria, herramientas, instrucciones internas, interfaces, conexiones con otros servicios y toda una capa de software que rodea al modelo. Pero el modelo es solamente una parte del conjunto.

Quizás la comparación más sencilla sea pensar en un automóvil. El modelo de IA sería el motor. ChatGPT sería el coche entero: motor, volante, transmisión, cuadro de instrumentos, navegador y todo aquello que permite que podamos utilizarlo cómodamente.

Por eso decir «estoy usando ChatGPT» y decir «estoy usando GPT-6 Astra» no son exactamente la misma afirmación. Podemos estar utilizando ChatGPT con determinado modelo por debajo, pero seguimos trabajando dentro del producto ChatGPT.

Y después están las API, que son otra forma completamente distinta de acceder a esos motores.

Una API permite que nuestro propio programa hable con el modelo. Podemos crear una aplicación que reciba una consulta de un cliente, se la envíe automáticamente a un modelo de OpenAI, recoja la respuesta y continúe trabajando con ella sin que nadie tenga que entrar en la web de ChatGPT y escribir el mensaje a mano. Ahí cambia también la forma de pagar.

Las suscripciones habituales de ChatGPT y el uso de la plataforma API tienen sistemas de facturación independientes. Tener contratado ChatGPT no significa que podamos consumir gratuitamente esos mismos modelos desde nuestros programas. En la API se paga aparte según el modelo utilizado y el consumo realizado, además de determinadas herramientas cuando corresponda.

Es una diferencia importante porque explica muchas de las tablas de precios que vemos publicadas. Cuando leemos que GPT-6.1 Sol cuesta actualmente 2 dólares por millón de tokens de entrada y 10 por millón de salida, mientras que Astra cuesta 10 y 50 dólares respectivamente, estamos hablando de precios de uso mediante API, no de que una conversación en la web de ChatGPT vaya descontándonos esa cantidad de nuestra tarjeta de crédito.

Un token, por cierto, tampoco tiene demasiado misterio para entender la idea. Es una pequeña unidad en la que el sistema divide el texto para procesarlo. No coincide exactamente con una palabra, pero para quien empieza basta con comprender que cuanto más contenido enviamos al modelo y más contenido obtenemos de él, mayor puede ser el consumo.

En una conversación personal probablemente podamos olvidarnos de todo esto. Cuando construimos aplicaciones o automatizamos procesos, ya no.

Primero la tarea y después el modelo

Quizás por eso me gusta tanto la comparación entre Sol y Astra. No porque vaya a resolver para siempre qué modelo debemos utilizar —dentro de unos meses probablemente estaremos discutiendo sobre otros nombres—, sino porque obliga a cambiar la pregunta. En lugar de empezar preguntando «¿qué IA es mejor?», deberíamos empezar explicando qué queremos hacer con ella.

Si la tarea es sencilla, frecuente y muy repetitiva, probablemente nos interese un modelo rápido y económico. Si necesitamos más razonamiento, podemos subir un escalón. Si estamos ante un trabajo complicado, importante o especialmente delicado, tendrá sentido recurrir a modelos más capaces y permitirles además dedicar más esfuerzo al problema.

Los propios modelos actuales permiten jugar también con esa segunda variable, el esfuerzo de razonamiento. Sol y Astra pueden trabajar con diferentes niveles, desde razonamientos más contenidos hasta configuraciones mucho más intensivas. Eso significa que ni siquiera basta siempre con escoger el modelo; podemos decidir cuánto queremos que trabaje sobre determinada petición.

Y aquí aparece otra tentación bastante humana: si más razonamiento puede producir mejores resultados, pongámoslo siempre al máximo.

Tampoco.

Una corrección sencilla, una clasificación, una extracción de información o una transformación muy definida no necesitan necesariamente que pongamos a nuestra mejor IA a meditar profundamente sobre el sentido de la existencia antes de responder. En cambio, cuando el problema admite varias soluciones, existen contradicciones, hay que analizar mucho contexto o queremos minimizar el riesgo de una respuesta superficial, aumentar ese esfuerzo puede tener bastante más sentido.

Al final, elegir un modelo empieza a parecerse mucho más a organizar un buen equipo que a comprar una máquina. Hay trabajos para los que necesitamos a la persona más experimentada que podamos encontrar y otros que esa misma persona podría hacer perfectamente, pero que no tendría demasiado sentido encargarle cada día.

Con las máquinas, curiosamente, estamos empezando a aprender la misma lección.

Por eso, para alguien que comienza y se siente perdido entre nombres, versiones y benchmarks, yo no intentaría memorizar qué modelo ocupa hoy el primer puesto. Empezaría con una regla mucho más sencilla: probaría primero un modelo adecuado para la tarea y subiría de capacidad cuando encontrase una razón concreta para hacerlo.

A veces esa razón será la calidad. Otras, la precisión, la complejidad del trabajo o el tiempo que podemos ahorrarnos evitando una segunda revisión. Y en otros muchos casos descubriremos que el modelo más barato ya hace exactamente lo que necesitamos.

Hoy podemos comprobarlo enfrentando GPT-6.1 Sol con GPT-6 Astra. Dentro de un tiempo seguramente los nombres habrán cambiado, aparecerán nuevas versiones y las tarifas serán distintas. Pero si hemos aprendido a empezar por el problema en lugar de empezar por el nombre del modelo, la comparación seguirá siendo exactamente la misma.