Cos’è lo streaming dei token?

Q: Cos’è lo streaming dei token?

Lo streaming manda i token di un LLM man mano che vengono generati, invece di aspettare la risposta intera. Non cambia la conoscenza del modello e non elimina le allucinazioni.

Lo streaming è il modo in cui un LLM in inferenza manda i token man mano che li genera, invece di aspettare la frase intera. Per questo ChatGPT «scrive» in diretta.

Serve a far sentire la risposta più veloce (vedi il primo token prima della fine) e a interrompere se sta sbagliando. Non cambia cosa sa il modello, non è prompt caching, e non toglie le allucinazioni: sbaglia in diretta, tutto qui.

Cosa non è

Non è RAG. Non è un modello di ragionamento (quello «pensa» prima; lo streaming è solo come arriva il testo). Non è memoria. Non è fine-tuning.

Nel corso si vede la generazione token per token: perché la risposta nasce a pezzi, e perché interrompere è utile.

Poi, se vuoi la mappa intera. Inizia dalla puntata gratis. Il Corso AI in 10 puntate costa 9,90 € una tantum, e resta tuo. Home: corso-intelligenza-artificiale.com.