Cos’è il chunking (nel RAG)?

Il chunking è spezzare i documenti in pezzi (chunk) prima di crearne gli embedding e salvarli in un database vettoriale. Nel RAG il modello non legge il PDF intero: recupera i pezzi più vicini alla domanda e li mette nella finestra di contesto.

Serve perché un file lungo non entra tutto, e pezzi troppo grandi o troppo piccoli fanno recuperare il brano sbagliato. Tagliare per paragrafo, per titolo o con sovrapposizione è una scelta di progetto, non magia.

Cosa non è

Non è il tokenizer del modello (quello spezza per l’inferenza). Non è fine-tuning. Non aggiorna i parametri. Non elimina le allucinazioni: se il pezzo è fuori posto, il modello può comunque inventare.

Nel corso si vede come si dà al modello ciò che non sa, senza riallenarlo — e perché «tagliare bene» conta quanto il modello.

Poi, se vuoi la mappa intera. Inizia dalla puntata gratis. Il Corso AI in 10 puntate costa 9,90 € una tantum, e resta tuo. Home: corso-intelligenza-artificiale.com.