QLoRA fa fine-tuning con poca memoria: modello quantizzato più adapter LoRA. Non è un modello nuovo né distillazione; per i documenti tuoi resta più adatto il RAG.

Cos’è QLoRA?

QLoRA (Quantized LoRA) è un modo di fare fine-tuning con poca memoria: tieni il modello base in quantizzazione (pesi «compressi») e alleni solo piccoli adapter LoRA. Risultato: un SFT o un DPO su hardware che non terrebbe il modello a piena precisione.

Serve se vuoi adattare un LLM open source senza un cluster. Non cambia cosa il modello «sa» del mondo: cambia lo stile o il compito su cui lo alleni. Per documenti aziendali resta più adatto il RAG.

Cosa non è

Non è un modello nuovo. Non è quantizzazione da sola (quella serve in inferenza per far girare il modello; QLoRA la usa durante l’addestramento). Non è distillazione. Non è RAG.

Nel corso si distingue «far stare il modello in memoria» da «insegnargli un compito».

Poi, se vuoi la mappa intera. Inizia dalla puntata gratis. Il Corso AI in 10 puntate costa 9,90 € una tantum, e resta tuo. Home: corso-intelligenza-artificiale.com.