Salta al contenuto
GiornalAIo
Gazzetta quotidiana dell'intelligenza artificiale
Tecnica e mestiere

180 miliardi di parametri con 32 GB di RAM: far girare i MoE in locale con Transformers

Meno dipendenza dai servizi online: modelli enormi su macchine da casa.

180 miliardi di parametri con 32 GB di RAM: far girare i MoE in locale con Transformers
Illustrazione generata con IA (FLUX.2 klein)

Hugging Face Blog. Un articolo del blog di Hugging Face racconta come far girare modelli mixture-of-experts molto grandi con poca memoria, trasmettendo gli esperti direttamente dall'SSD. Il metodo arriva entro il 6% della velocità di generazione di Strata. L'autore descrive prove su un PC con due RTX 4090 e su un MacBook con 32 GB di memoria unificata, con modelli locali per il codice e uno online per l'orchestrazione.

Entro il 6% di Strata

18 novembre 2026Verificata 84/100Leggi su Hugging Face Blog

Leggi su Hugging Face Blog

A cura di Alessio Ascione. Sintesi scritta con l'aiuto di Claude a partire dal testo della fonte, che fa sempre fede: come nasce il giornale. Rettifiche o rimozioni: modulo.

Da leggere insieme