Cos’è il formato GGUF?

GGUF è un formato di file per salvare un LLM già quantizzato (pesi compressi) così da farlo girare in inferenza su CPU/GPU con poca RAM. Lo usano runtime come Ollama e altri tool per modelli locali.

Serve perché un modello «pieno» (fp16/bf16) non entra in un laptop: GGUF con livelli tipo Q4/Q5 riduce la memoria. Non cambia la conoscenza del mondo: è un contenitore dei pesi. Per i fatti tuoi resta più adatto il RAG.

Cosa non è

Non è un modello nuovo. Non è fine-tuning né QLoRA (quelli allenano; GGUF di solito serve a eseguire). Non è distillazione. Non toglie le allucinazioni.

Nel corso si vede perché «modello piccolo in locale» e «modello in cloud» non sono la stessa cosa.

Poi, se vuoi la mappa intera. Inizia dalla puntata gratis. Il Corso AI in 10 puntate costa 9,90 € una tantum, e resta tuo. Home: corso-intelligenza-artificiale.com.