Token
Unidad mínima de texto que procesa un modelo de lenguaje.
Explicación completa
Los modelos no leen letras ni palabras, sino tokens: fragmentos de entre uno y varios caracteres. En español, un token equivale de media a unos 0,75 caracteres menos que en inglés, por lo que un mismo texto consume más tokens. El precio de las APIs se calcula por millón de tokens de entrada y salida.
Ejemplo
"Inteligencia" puede dividirse en los tokens "Intel", "igen", "cia".
Última actualización:
Términos relacionados
Inteligencia Artificial
Disciplina que crea sistemas capaces de realizar tareas que requieren inteligencia humana.
Machine Learning
Rama de la IA en la que el sistema aprende patrones a partir de datos en vez de reglas escritas a mano.
Deep Learning
Machine learning basado en redes neuronales con muchas capas.
Red neuronal
Modelo matemático inspirado en las conexiones del cerebro.
Ventana de contexto
Cantidad máxima de tokens que un modelo puede tener en cuenta a la vez.
AGI
Inteligencia artificial general, capaz de cualquier tarea intelectual humana.