Transformer
Arquitectura de red neuronal basada en atención, base de los LLM modernos.
Explicación completa
Presentada en 2017 en el artículo "Attention Is All You Need", la arquitectura Transformer sustituyó a las redes recurrentes gracias al mecanismo de auto-atención, que permite procesar toda la secuencia en paralelo y capturar relaciones entre palabras distantes.
Ejemplo
GPT significa Generative Pre-trained Transformer.
Última actualización:
Términos relacionados
LLM (Large Language Model)
Modelo de lenguaje de gran tamaño entrenado con billones de palabras.
Multimodal
Modelo capaz de procesar varios tipos de datos: texto, imagen, audio o vídeo.
Modelo open source
Modelo cuyos pesos se publican y pueden ejecutarse libremente.
Benchmark
Prueba estandarizada para comparar modelos.