Nell’ultimo capitolo abbiamo capito come un modello genera testo: token dopo token, basandosi su probabilità calcolate dal contesto che gli fornisci. Ma c'è un limite fondamentale.
Il modello può rispondere usando solo ciò che ha imparato durante l'addestramento.
Se gli chiedi del bilancio della tua azienda di quest’anno (o che hai chiuso ieri), o dell'ultimo gadget tecnologico che ha lanciato Samsung ieri, o delle email ricevute oggi, risponderà con presunzione inventando e “allucinando”. Questo succede perché la sua conoscenza è congelata nel tempo e limitata ai dati pubblici su cui è stato addestrato.
Questo non significa che l'AI sia inutile per lavorare con dati interni o aggiornati.
Anzi, significa solo che devi darle accesso a quei dati. E qui una cosa è cambiata parecchio: con finestre di contesto molto lunghe, per documenti privati piccoli o singoli a volte basta anche “metterli nella chat” (o caricarli come file) e farli leggere direttamente. Ma quando i documenti diventano tanti, quando serve rispondere su un archivio grande, quando vuoi freschezza e controllo delle citazioni, il RAG (o dei tools) resta la strada più solida.