Corso AI in 10 puntate

Puntata 7

Come genera testo un LLM

Siamo arrivati a metà del percorso.

Dopo sei puntate dedicate a capire cosa c'è dentro i modelli AI — cos'è un modello, token, embedding, Transformer, addestramento — voltiamo pagina. Da qui, ci concentriamo su come usarli.

Iniziamo dal fondamentale: capire cosa succede quando scrivi un prompt e il modello genera testo.

Quando ti risponde, il modello non “cerca" la risposta in un database o su Internet (almeno, non in questa operazione di base, al RAG ci arriviamo domani).

La sua "risposta" è... generata. Creata sul momento.

Come?

Ripetendo lo stesso compito per cui è stato addestrato: prevedere il prossimo token.

Quando scrivi un prompt, ad esempio: "Il gatto salta sul ...", il modello prende la tua frase, la trasforma in una sequenza di token e embedding (capitolo 2 e 3).

Poi, usando tutta la conoscenza e i pattern imparati durante l'addestramento (capitolo 5) e l'architettura del Transformer (capitolo 4) per capire il contesto del tuo input, calcola le probabilità che og