Destilación
Entrenar un modelo pequeño para imitar a uno grande.
Explicación completa
El modelo "profesor" genera salidas que sirven para entrenar a un "alumno" mucho más ligero, que conserva buena parte de la calidad a una fracción del coste de inferencia.
Ejemplo
Un modelo de 7B que imita a uno de 400B en una tarea concreta.
Última actualización:
Términos relacionados
RAG (Retrieval-Augmented Generation)
Técnica que combina búsqueda de documentos con generación de texto.
Embedding
Representación numérica del significado de un texto o imagen.
Base de datos vectorial
Base de datos optimizada para buscar por similitud de embeddings.
Fine-tuning
Reentrenar un modelo base con datos propios para especializarlo.
RLHF
Aprendizaje por refuerzo con retroalimentación humana.
Ventana deslizante
Estrategia para gestionar conversaciones más largas que el contexto.