Nell’ultimo capitolo abbiamo capito come un modello genera testo: token dopo token, basandosi su probabilità calcolate dal contesto che gli fornisci. Ma c'è un limite fondamentale.
Il modello può rispondere usando solo ciò che ha imparato durante l'addestramento.
Se gli chiedi del bilancio della tua azienda nel 2024, o dell'ultimo gadget tecnologico che ha lanciato Samsung settimana scorsa, o delle email ricevute oggi, risponderà con presunzione inventando e “allucinando”. Questo succede perché la sua conoscenza è congelata nel tempo e limitata ai dati pubblici su cui è stato addestrato.
Questo non significa che l'AI sia inutile per lavorare con dati interni o aggiornati.
Anzi, significa solo che devi darle accesso a quei dati.
Ecco dove entra in gioco il Retrieval-Augmented Generation, o il RAG.
È una tecnica che combina la capacità generativa del modello con la possibilità di recuperare informazioni da fonti esterne in tempo reale. Invece di affidarsi solo alla memoria