llama.cpp è un runtime per far girare LLM in locale, di solito da file GGUF, su CPU o GPU. Non è un modello: è il motore che esegue i pesi. Non elimina le allucinazioni.

Cos’è llama.cpp?

llama.cpp è un programma che fa girare LLM in locale: legge un file (di solito GGUF) e fa inferenza su CPU o GPU, senza cloud. Ollama spesso lo usa sotto il cofano. Non è un modello: è il motore che lo esegue.

Serve se vuoi controllo, privacy, o far girare un checkpoint sul tuo hardware. Lo scotto: setup più «nudo» di Ollama, e i limiti del modello (RAM, knowledge cutoff, allucinazioni). Per i documenti tuoi resta più adatto il RAG.

Cosa non è

Non è un LLM. Non è fine-tuning né QLoRA. Non è Hugging Face. Non toglie le allucinazioni e non rende il PC un servizio tipo ChatGPT.

Nel corso si distingue il modello (i pesi) dal runtime che lo fa parlare.

Poi, se vuoi la mappa intera. Inizia dalla puntata gratis. Il Corso AI in 10 puntate costa 9,90 € una tantum, e resta tuo. Home: corso-intelligenza-artificiale.com.