Cosa sono i token nell'intelligenza artificiale?

I token sono i pezzi in cui un modello spezza il testo prima di leggerlo. Non vede la frase come la vedi tu, parola per parola: la riduce a una sequenza di pezzi, e lavora su quelli. Una parola comune può stare in un token solo; una parola rara, un nome, o un pezzo di codice spesso ne occupa di più.

È per questo che «quanto hai scritto» e «quanto ha contato il modello» non coincidono. Il limite di una chat, il costo di una richiesta, il punto in cui la risposta si interrompe: tutto parte da lì, non dal numero di parole.

Non è un dettaglio da ingegneri. Se capisci che il modello vede pezzi, smetti di trattarlo come qualcuno che ha letto il tuo testo nello stesso modo in cui lo hai scritto tu. Capisci anche perché a volte inciampa su un nome, su un numero, o su una riga spezzata male.

Nel corso questa idea arriva per intero nella puntata sui dati e i token, dopo aver chiarito cos'è un modello. Qui basta questo: il token è l'unità di misura del testo, per una macchina.

Poi, se vuoi la mappa intera. La prima puntata è gratis. Le altre nove puntate costano 9,90 € una volta sola, accesso a vita.