Tecnica e mestiere
180 miliardi di parametri con 32 GB di RAM: far girare i MoE in locale con Transformers
Meno dipendenza dai servizi online: modelli enormi su macchine da casa.

Hugging Face Blog. Un articolo del blog di Hugging Face racconta come far girare modelli mixture-of-experts molto grandi con poca memoria, trasmettendo gli esperti direttamente dall'SSD. Il metodo arriva entro il 6% della velocità di generazione di Strata. L'autore descrive prove su un PC con due RTX 4090 e su un MacBook con 32 GB di memoria unificata, con modelli locali per il codice e uno online per l'orchestrazione.
Entro il 6% di Strata
A cura di Alessio Ascione. Sintesi scritta con l'aiuto di Claude a partire dal testo della fonte, che fa sempre fede: come nasce il giornale. Rettifiche o rimozioni: modulo.