Per taglio di memoria
| Memoria | Girano bene | Il più grande che gira bene | gpt-oss-20b |
|---|---|---|---|
| 64 GB800 GB/s | 39 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 GB800 GB/s | 47 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 GB800 GB/s | 49 | MiniMax M2.7 | 189–337 tok/s |
Modelli: Mac Pro (2023), Mac Pro (Rack, 2023). Non tutti i tagli di memoria sono disponibili per ogni modello; le specifiche tecniche di Apple indicano con cosa viene offerto ciascuno.
Domande
- Un Mac Pro con M2 Ultra va bene per gli LLM locali?
- Con 192 GB esegue bene 49 modelli aperti su 73, fino a MiniMax M2.7, e scrive circa 189–337 token al secondo con gpt-oss-20b. Il chip M2 Ultra legge la memoria a 800 GB/s, che determina quanto velocemente scrive.
- Quanta memoria serve a un Mac Pro con M2 Ultra per l’AI?
- Con 64 GB esegue bene 39 modelli aperti; con 192 GB, 49, fino a MiniMax M2.7. La memoria decide quali modelli ci stanno, e non si può espandere in seguito.
Altri Mac
Altri Mac con chip M2 Ultra:
Testa a testa:
Il M2 Ultra per l’AI locale · Il miglior Mac per LLM in locale · Tutti i Mac
Come è calcolato
Memoria: i parametri del modello a 8, 6, 4, 3 o 2 bit per peso più le scale per gruppo di MLX (mezzo bit per peso), oppure il suo formato nativo, con in più lo spazio per il contesto. Di default macOS lascia usare alla GPU circa il 75% della memoria unificata. Velocità: la larghezza di banda della memoria divisa per i byte letti per ogni token è il limite massimo per una conversazione; nei benchmark pubblici su Apple Silicon di llama.cpp, le esecuzioni reali arrivano a circa il 45%–80% di quel limite, ed è l’intervallo mostrato. Sono stime, non misurazioni: misura il tuo Mac su MLX Bench. Dati dei modelli dalla rispettiva scheda ufficiale, dati dei chip dalle specifiche tecniche di Apple. Verificato il 2026-10-19. Stessi dati di mlx.app/compare.