Cos’è l’inferenza in AI?

L’inferenza è il momento in cui usi un modello già addestrato: gli dai un input e lui genera l’output. Allenare costa settimane e molta potenza; l’inferenza è «far girare» il modello sul tuo prompt, adesso. Quando apri ChatGPT e scrivi, stai facendo inferenza.

Più parametri, più contesto, più richiesta = di solito più costo e latenza. Per questo esistono modelli piccoli e grandi, e limiti sulla finestra di contesto.

Cosa non è

Non è l’allenamento. Non è «capire» come un umano. È predire pezzo dopo pezzo (token). Cambiare la temperatura agisce sull’inferenza, non sui pesi. Se il modello non sa una cosa fresca, l’inferenza da sola non inventa fonti vere: serve RAG o un tool.

Nel corso si distingue come si allena un LLM da come lo usi ogni giorno.

Poi, se vuoi la mappa intera. Inizia dalla puntata gratis. Il Corso AI in 10 puntate costa 9,90 € una tantum, e resta tuo. Home: corso-intelligenza-artificiale.com.