Cómo bajar el costo de tokens sin perder calidad

La mayoría de las funciones de IA llega a producción tal como se construyó el prototipo: un solo modelo, el más potente disponible, y un prompt largo que se envía completo en cada llamada. Para prototipar está bien, porque saca la calidad del modelo de la ecuación mientras averiguas si la función sirve. Para operar sale caro. Cada solicitud, fácil o difícil, va al modelo de mayor precio, y pagas tarifa completa por reenviar las mismas instrucciones miles de veces al día.

Cuánto cuesta implementar IA cubre el presupuesto. Este artículo se queda en la ingeniería: cómo bajar el costo operativo de una función que ya está en producción. Primero se mide, y después vienen cuatro palancas, de la más grande a la más pequeña.

¿Qué determina el costo de tokens?

El precio por token que publica cada proveedor es solo el punto de partida. Lo que de verdad pagas depende de cuatro cosas:

Entrada y salida no cuestan lo mismo. En la lista de precios de Anthropic de octubre de 2026, los tokens de salida cuestan cinco veces más que los de entrada en todos los modelos.
El mismo texto no genera los mismos tokens en todos los modelos. La documentación de precios de Anthropic dice que sus modelos más nuevos usan un tokenizador que produce cerca de un 30% más de tokens para el mismo texto. Un precio por token más bajo puede terminar en un costo por tarea más alto.
Los tokens que se leen de la caché cuestan una fracción del precio de entrada. Los números están más abajo.
Una tarea casi nunca es una sola llamada. Los agentes y los reintentos multiplican las llamadas sin que nadie lo note.

Por eso optimizar el costo de un LLM significa bajar el costo por tarea completada sin bajar la calidad en tu set de evals. Sin ese set, no puedes distinguir un ahorro de un producto que empeoró en silencio.

¿Cómo se mide el costo por tarea?

Registra seis datos por cada llamada al modelo, etiquetados por función:

Llamadas por tarea.
Tokens de entrada estables: system prompt, definiciones de herramientas, documentos de referencia.
Tokens de entrada variables: el mensaje del usuario, el contexto recuperado, el historial de la conversación.
Tokens de salida.
El modelo que usó cada llamada, para ver la mezcla.
Quién espera: una persona que necesita la respuesta en segundos, o nadie hasta mañana.

Multiplica cada conteo por su precio y suma las llamadas de cada tarea: ese es tu costo por tarea, por función. Ponlo en el dashboard junto a la calidad y la latencia p95, los tres números de nuestra hoja de ruta de piloto a producción.

¿Por qué el enrutamiento de modelos es la palanca más grande?

Porque la diferencia de precio entre modelos es mayor que cualquier descuento. En la lista de Anthropic de octubre de 2026, los tokens de entrada de su modelo actual de mayor precio cuestan 100 veces lo que cuestan en el de menor precio, en prompts de hasta 100,000 tokens. Y la frontera de ayer es el modelo pequeño de hoy: el AI Index 2025 de Stanford HAI encontró que el costo de inferencia de un sistema con el desempeño de GPT-3.5 cayó más de 280 veces entre noviembre de 2022 y octubre de 2024.

Buena parte del tráfico de producción nunca necesitó el modelo más caro: etiquetar un ticket, extraer campos de una factura, una validación de sí o no. Hay tres formas de enrutar, de menor a mayor esfuerzo:

Reglas por tipo de tarea. Cada función, o cada paso dentro de un agente, usa el modelo más pequeño que pasa sus evals. Empieza aquí. Es configuración en tu gateway.
Un router entrenado que manda cada solicitud a un modelo fuerte o a uno débil. El paper de RouteLLM (Ong y colegas, 2024) entrenó routers con datos de preferencias humanas y reportó reducciones de costo de más de 2x en algunos casos, sin comprometer la calidad de las respuestas. Son resultados de benchmarks, no de tu tráfico.
Una cascada. Prueba primero el modelo pequeño, valida la respuesta y escala solo si falla. El paper de FrugalGPT (Chen, Zaharia y Zou, 2023) igualó al mejor modelo individual que probó, GPT-4, con hasta un 98% menos de costo en sus datasets. Tómalo como prueba de la idea, no como un ahorro con el que puedas contar: esos modelos y esos precios ya no existen.

¿Qué conviene guardar en la caché de prompts?

La parte estable del prompt. OpenAI y Anthropic guardan en caché el prefijo del prompt, la parte que se repite idéntica entre llamadas, y cobran los tokens reutilizados a una fracción del precio de entrada. En inglés lo vas a ver como prompt caching. Así funciona en cada uno a octubre de 2026:

OpenAI lo hace por defecto en los modelos compatibles y cobra los tokens reutilizados con un descuento que, según su documentación, llega hasta el 95%. En sus modelos más nuevos, el prefijo necesita al menos 1,024 tokens y escribirlo en la caché cuesta 1.25 veces el precio de entrada.
Anthropic lo hace cuando se lo pides. Escribir en la caché de 5 minutos cuesta 1.25 veces el precio base de entrada, en la de 1 hora cuesta 2 veces, y leer de la caché cuesta 0.1 veces en la mayoría de los modelos, menos en algunos de los más nuevos. Según las cuentas de su propia documentación, la caché de 5 minutos se paga sola después de una lectura y la de 1 hora después de dos.

Un ejemplo aritmético con un prompt hipotético de 10,000 tokens, de los cuales 8,000 son el prefijo estable: con lectura a 0.1x, una llamada con la caché activa cobra 800 tokens equivalentes por el prefijo más 2,000 por el resto. Son 2,800 en vez de 10,000, un 72% menos en la entrada. Es aritmética, no un benchmark, y la salida no cambia.

La caché premia la disciplina con el prompt: instrucciones, definiciones de herramientas y material de referencia al principio; todo lo que cambia en cada llamada, al final. La documentación de Anthropic incluye editar la definición de una herramienta entre los cambios que invalidan toda la caché, otra razón para tener pocas herramientas y estables. Guardar respuestas completas a preguntas repetidas es otra capa que construyes tú; la cubre nuestra guía de RAG en producción.

¿Qué cargas de trabajo van en batch?

Todo lo que nadie está esperando. A octubre de 2026, la Batch API de OpenAI cobra con un descuento del 50% frente a sus APIs síncronas y entrega resultados en un plazo de 24 horas. La Batch API de Anthropic también cobra la mitad en entrada y en salida, y su documentación dice que los descuentos de batch y de caché se acumulan. Ejemplos típicos: clasificar datasets, generar resúmenes nocturnos, enriquecer el CRM y correr backfills. Tus evals son el primer candidato fácil: mismo modelo, mismos prompts, mitad de precio.

¿Cuándo vale la pena la destilación?

Al final, y solo para una tarea acotada con mucho volumen. El método, según la guía de fine-tuning de OpenAI: ajusta un prompt en un modelo grande hasta que cumpla tus criterios de evaluación, quédate con las respuestas que pasan y haz fine-tuning de un modelo más pequeño con ellas.

Revisa primero la plataforma. OpenAI está cerrando su fine-tuning self-serve: según su página de deprecaciones, ya no pueden crear trabajos nuevos las organizaciones que nunca hicieron fine-tuning ni las que no han usado un modelo con fine-tuning en los últimos 60 días, y el resto deja de poder hacerlo el 6 de enero de 2027. Entrenes donde entrenes, el dataset (set de evals más respuestas aprobadas) tiene que ser tuyo, para poder reentrenar en otra plataforma o sobre un modelo open-weight.

¿Cómo bajar el costo sin bajar la calidad?

Que decida el set de evals. La caché y el batch no cambian qué modelo responde ni qué ve, así que pueden salir a producción en cuanto la telemetría esté lista. El enrutamiento, la destilación y cualquier cambio al prompt, incluido reordenarlo para la caché, pueden cambiar la respuesta, así que cada uno sale solo si la opción de menor costo pasa los mismos evals que la más cara. Un ahorro que baja tu tasa de aprobación de evals no es un ahorro. Es una decisión de producto, y alguien debería tomarla a propósito.

El costo por tarea es trabajo compartido. Data construye la telemetría de la que depende el enrutamiento: tokens, tasa de aciertos de caché y mezcla de modelos por función. Build opera el gateway y la capa de caché. Advisory convierte el costo por tarea en decisiones de precio y margen para las funciones de IA que vendes. Nuestra práctica de AI es dueña del enrutamiento y de los evals que validan cada ahorro. Cuatro prácticas y un solo número de costo por tarea: por eso lo planteamos como un solo trabajo multipráctica, no como cuatro entregas entre equipos.

Relacionados: Cuánto cuesta implementar IA → · Tu piloto de IA, a producción → · RAG en producción →