# Tokens: la unidad con la que piensa (y cobra) la IA > Un token es el trozo de texto que un modelo de IA procesa como unidad. Qué son, cuántos hay en una palabra, cómo se cuentan y cómo afectan el costo y el límite. *Tags: ia, fundamentos, tokens, costos* --- > [!info] Definición Rápida > Un **token** es la unidad mínima de texto que un modelo de lenguaje lee y escribe. Puede ser una palabra entera, un fragmento de palabra o un signo de puntuación. Los proveedores de IA miden el tamaño de cada petición, y su costo, en tokens. ## ¿Qué es un token? Un modelo no ve letras ni palabras como nosotros. Antes de procesar un texto, un componente llamado **tokenizador** lo parte en trozos de un vocabulario fijo. Una palabra frecuente suele ser un solo token; una palabra rara, larga o mal escrita se parte en varios. Los números, los espacios y los emojis también ocupan tokens. Una técnica muy usada para construir ese vocabulario se llama **byte-pair encoding** (BPE). Empieza con unidades pequeñas y, paso a paso, une el par de trozos contiguos que más se repite en un corpus, hasta llegar a un tamaño de vocabulario definido. Según Wikipedia, una versión ligeramente modificada del algoritmo se usa en los tokenizadores de modelos de lenguaje, y GPT-3.5 y GPT-4 emplean un vocabulario de 100.258 tokens. El resultado no son palabras completas ni letras sueltas, sino subpalabras: permiten representar cualquier texto con un vocabulario manejable. Un token no es un concepto semántico. No significa "una idea". Por eso dos textos con el mismo significado pueden tener cantidades distintas de tokens. ## ¿Cuántos tokens tiene una palabra? No hay una cifra fija, pero sí órdenes de magnitud que sirven para estimar. La documentación de OpenAI da una regla aproximada para texto en inglés: un token equivale a unos 4 caracteres o a 0,75 palabras. El repositorio de su tokenizador, tiktoken, dice algo parecido: en promedio, un token corresponde a unos 4 bytes de texto. Esa regla se rompe con otros idiomas. Un estudio de Meta FAIR y Sorbonne Université (ParaEval, junio de 2026) midió el tokenizador de Llama 3.2: en inglés logra 4,9 caracteres por token y 1,24 tokens por palabra; en portugués, francés y español baja a 3,6 a 3,8 caracteres por token y sube a 1,60 a 1,71 tokens por palabra. Dicho de otra forma, un texto de 1.000 palabras ocuparía unos 1.240 tokens en inglés y entre 1.600 y 1.710 en esos tres idiomas, cerca de un tercio más. El estudio da esa cifra para los tres juntos, no para el español por separado. Dos advertencias. Primera: esas cifras son de un tokenizador concreto, no de todos. Segunda: no pude confirmar una medición publicada para el tokenizador de Claude en español, así que para ese caso conviene medir con tu propio texto (ver más abajo). ## ¿Por qué importan los tokens al diseñar? Los tokens afectan cuatro cosas que el usuario o el equipo sí perciben: - **El límite.** Cada modelo tiene una [[ventana-de-contexto|ventana de contexto]] medida en tokens. Todo lo que entra (instrucciones, historial, documentos y la respuesta) tiene que caber ahí. Según la documentación de Anthropic, los modelos Claude más recientes llegan a 1 millón de tokens de contexto, y una sola petición puede generar hasta 128.000 tokens de salida. - **El costo.** La factura de una API se calcula con tokens de entrada y de salida. Un prompt de 20 páginas repetido en cada mensaje cuesta mucho más que una instrucción de tres líneas. Ver [[costo-por-token|costo por token]]. - **La velocidad.** El modelo genera la respuesta token a token, así que una respuesta larga tarda más. Ver [[latencia-en-llms|latencia y tokens por segundo]]. - **El idioma.** Un mismo mensaje en inglés o en español puede tener distinta cantidad de tokens, como muestra el estudio de arriba. Un producto multilingüe debe medir su costo en cada idioma, no asumir que es igual. ## ¿Cómo se cuentan los tokens? Cada proveedor tiene su forma. Anthropic ofrece un endpoint de conteo que acepta el mismo formato que la creación de mensajes (con prompt de sistema, herramientas, imágenes y PDF) y devuelve el total de tokens de entrada. Su documentación aclara cuatro cosas: - El resultado es una **estimación**; el número real puede diferir un poco. - El conteo puede incluir tokens que Anthropic añade para optimizaciones del sistema, y esos no se facturan. - Usarlo es gratis, aunque tiene límites de peticiones por minuto según tu nivel de uso. - Los modelos Claude 4.7 y posteriores usan un tokenizador más nuevo que produce aproximadamente 30 por ciento más tokens para el mismo texto que los modelos anteriores. La recomendación oficial es recontar los prompts con el modelo que vas a usar, y no reutilizar conteos de un modelo viejo. Los tokens de razonamiento ("thinking") de un modelo también cuentan: la documentación los incluye en la ventana de contexto y los factura como tokens de salida. Para una estimación rápida con modelos de OpenAI puedes usar la librería tiktoken; para cifras reales, usa siempre el conteo oficial del modelo que vas a usar. ## ¿Cuándo NO conviene pensar solo en tokens? Reducir tokens a toda costa puede empeorar el producto. Recortar el contexto para ahorrar dinero puede dejar al modelo sin la información que necesita, y entonces responde peor. La pregunta útil no es "¿cómo gasto menos tokens?", sino "¿cuántos tokens necesito para que la respuesta sea buena?". Medir calidad y costo juntos evita optimizar la métrica equivocada. Para bajar el costo de contexto repetido sin recortarlo, mira [[prompt-caching|prompt caching]]. ## Ejemplo Ejemplo ilustrativo: un equipo de diseño construye un asistente que responde preguntas sobre su guía de estilo, de 60 páginas, que supondremos de unos 40.000 tokens. Usa como referencia los precios de Claude Sonnet 5.5 en la tabla de Anthropic del 17 de octubre de 2026: 2 dólares por millón de tokens de entrada y 10 por millón de salida. Cada respuesta tiene unos 500 tokens. - **Enviando la guía completa en cada pregunta:** 40.000 tokens de entrada cuestan 0,08 dólares y 500 de salida, 0,005. Total: unos 0,085 dólares por pregunta, o unos 85 dólares por cada 1.000 preguntas. - **Enviando solo las secciones relevantes (unos 3.000 tokens), recuperadas por búsqueda:** 0,006 dólares de entrada más 0,005 de salida. Total: unos 0,011 dólares por pregunta, o unos 11 dólares por cada 1.000. La segunda opción cuesta cerca de ocho veces menos en este ejemplo, pero solo vale si las respuestas siguen siendo correctas, así que hay que medir ambas cosas. Los tokens deciden la arquitectura: más contexto no siempre es mejor, y tampoco lo es menos. Estos precios cambian; vuelve a la tabla vigente antes de presupuestar. ## Errores comunes - Estimar costos con palabras en lugar de tokens. Una palabra no es un token, y la relación cambia con el idioma. - Ignorar los tokens de salida, que cuestan cinco veces más que los de entrada en la tabla de Anthropic de hoy. - Olvidar que el historial de la conversación vuelve a entrar como entrada en cada turno. - Suponer que el tokenizador de un proveedor da el mismo conteo que el de otro, o que dos versiones del mismo proveedor cuentan igual. - Comparar costos entre modelos sin recontar el mismo texto en cada uno. - Olvidar los tokens de razonamiento, que se cobran como salida. ## Fuentes - [Byte pair encoding (Wikipedia)](https://en.wikipedia.org/wiki/Byte_pair_encoding) - [Token counting (documentación de Claude)](https://platform.claude.com/docs/en/build-with-claude/token-counting) - [Pricing (documentación de Claude)](https://platform.claude.com/docs/en/about-claude/pricing) - [Context windows (documentación de Claude)](https://platform.claude.com/docs/en/build-with-claude/context-windows) - [Key concepts: tokens (documentación de OpenAI)](https://developers.openai.com/api/docs/concepts) - [tiktoken (OpenAI, GitHub)](https://github.com/openai/tiktoken) - [Are We Evaluating Knowledge or Phrasing? Mitigating MCQA Sensitivity with ParaEval (arXiv:2606.10657)](https://arxiv.org/abs/2606.10657) --- Source: https://www.fernandoux.com/es/wiki/ia/tokens/