Cos’è un Mixture of Experts (MoE)?

Q: Cos’è un Mixture of Experts (MoE)?

Un Mixture of Experts è un’architettura in cui, per ogni token, si accendono solo alcuni gruppi di parametri («esperti»). Serve a scalare i LLM senza pagare tutti i pesi a ogni parola; non è un agente né RAG.

Un Mixture of Experts (MoE) è un’architettura in cui un foundation model ha tanti «esperti» (gruppi di parametri) e, per ogni token, ne accende solo alcuni. Così il modello può essere grande sulla carta, ma più leggero in inferenza di uno denso con lo stesso numero di pesi.

Serve per scalare i LLM senza pagare tutti i parametri a ogni parola. Alcuni modelli open source usano questa idea. Non è magia: serve un routing (chi decide quale esperto) e il modello resta predizione, pezzo dopo pezzo.

Cosa non è

Non è un team di persone. Non è un agente. Non è RAG. Non significa automaticamente «più intelligente»: è un modo di organizzare i pesi.

Nel corso si distingue «quanto è grande il modello» da «quanto lavoro fa a ogni risposta».

Poi, se vuoi la mappa intera. Inizia dalla puntata gratis. Il Corso AI in 10 puntate costa 9,90 € una tantum, e resta tuo. Home: corso-intelligenza-artificiale.com.