Token

Un token es la unidad mínima con la que Claude lee y genera texto. Antes de procesar cualquier mensaje, el modelo descompone el texto en fragmentos (tokens) que pueden ser palabras completas, trozos de palabras, caracteres sueltos o signos de puntuación. Claude no ve letras ni palabras tal como las entendemos: opera sobre secuencias de tokens convertidos en números.

Cómo funciona la tokenización

El proceso se llama tokenización y lo realiza un componente llamado tokenizador. Este divide el texto según patrones estadísticos de subpalabras aprendidos sobre grandes corpus. Palabras frecuentes suelen ocupar un solo token, mientras que términos raros, nombres propios o palabras en idiomas menos representados se parten en varios.

Como regla práctica en inglés, un token equivale aproximadamente a 4 caracteres o unas 0,75 palabras. En español el ratio suele ser algo menos eficiente: una misma frase tiende a consumir más tokens que su equivalente en inglés, porque el vocabulario del tokenizador está más optimizado para el inglés. Los signos de puntuación, los espacios y los saltos de línea también cuentan como tokens.

Tanto lo que envías (input) como lo que Claude responde (output) se miden en tokens. La suma de ambos debe caber dentro de la ventana de contexto del modelo.

Por qué importa

Los tokens son la unidad de medida y de facturación de la API de Claude. Entender cómo se cuentan tiene tres consecuencias directas para quien construye:

• Coste: la API de Anthropic factura por tokens de entrada y de salida, con precios distintos para cada uno (el output suele ser más caro). Un prompt más corto y respuestas acotadas reducen la factura.
• Límites: cada modelo tiene una ventana de contexto máxima expresada en tokens. Si tu prompt más el historial superan ese límite, tienes que recortar o resumir.
• Latencia: generar más tokens de salida tarda más. Pedir respuestas concisas mejora el tiempo de respuesta.

Por eso conviene interiorizar el concepto desde el principio, algo que trabajamos en el curso para empezar con Claude desde cero antes de entrar en técnicas más avanzadas de prompting.

Ejemplo y cifras reales

La frase Hola, ¿cómo estás? se descompone en varios tokens: el signo de apertura, las palabras, la coma y los espacios cuentan por separado. Una página de texto (unas 500 palabras) ronda los 650 a 750 tokens en inglés y algo más en español.

Los modelos Claude actuales ofrecen ventanas de contexto amplias (200.000 tokens en la familia Claude 3 y posteriores, con opciones ampliadas para casos concretos). Eso equivale aproximadamente a un libro corto completo cabiendo en un solo prompt. Anthropic ofrece un endpoint de conteo de tokens para estimar el tamaño antes de enviar la petición.

Errores comunes

• Confundir tokens con palabras: no son lo mismo. Una palabra larga o poco frecuente puede ocupar tres o cuatro tokens.
• Ignorar el output al calcular costes: muchos solo cuentan el prompt, pero los tokens generados también se facturan y suelen pesar más.
• Asumir el mismo ratio en todos los idiomas: el español, el árabe o el chino consumen más tokens por carácter que el inglés.
• Olvidar que el historial cuenta: en una conversación, cada turno anterior reenviado suma tokens a la ventana de contexto.