https://www.fernandoux.com/tags/costos/Recent content in Costos on Fernando RuizHugoen-ushttps://www.fernandoux.com/es/wiki/ia/tokens/Mon, 01 Jan 0001 00:00:00 +0000https://www.fernandoux.com/es/wiki/ia/tokens/<div class="info-panel"> <div class="info-header"> <span class="material-symbols-outlined info-panel-icon">info</span> <span class="info-panel-label">Definición Rápida</span> </div> <div class="info-content"> Un <strong>token</strong> es la unidad mínima de texto que un modelo de lenguaje lee y escribe. Puede ser una palabra entera, un fragmento de palabra o un signo de puntuación. Los proveedores de IA miden el tamaño de cada petición, y su costo, en tokens. </div> </div> <h2 id="qué-es-un-token">¿Qué es un token?</h2> <p>Un modelo no ve letras ni palabras como nosotros. Antes de procesar un texto, un componente llamado <strong>tokenizador</strong> lo parte en trozos de un vocabulario fijo. Una palabra frecuente suele ser un solo token; una palabra rara, larga o mal escrita se parte en varios. Los números, los espacios y los emojis también ocupan tokens.</p>