¿Cómo genera texto un LLM?

Visualización paso a paso del proceso de inferencia

Velocidad:
Presioná ▶ para comenzar
Secuencia de tokens
Prompt Generado Procesando
Capas del modelo
Probabilidades del próximo token
Las probabilidades aparecen cuando el vector sale de la última capa
¿Qué estoy viendo?

El prompt entra completo y se separa en tokens. Para generar cada token nuevo, todos los tokens (prompt + los ya generados) pasan por todas las capas del modelo. Al final de la última capa, se calcula una probabilidad para cada token del vocabulario. El token con mayor probabilidad gana y se agrega a la secuencia. El proceso se repite hasta que gana el token de fin.