Ventana de contexto

Cantidad máxima de tokens que un modelo puede tener en cuenta a la vez.

Explicación completa

La ventana de contexto define cuánta información (prompt + historial + documentos + respuesta) cabe en una misma petición. Los modelos actuales van desde 8.000 hasta más de 1.000.000 de tokens. Superarla provoca que el modelo olvide el principio de la conversación.

Ejemplo

Gemini 1.5 Pro admite hasta 1 millón de tokens de contexto.

Última actualización:

Términos relacionados