Fianco a fianco
Velocità con i modelli più popolari
Token al secondo per una conversazione, ogni chip con il suo taglio di memoria più grande (512 GB e 512 GB), con la versione migliore del modello che ci sta.
| Modello | M3 Ultra | M5 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 43–77 8 bit | 64–113 8 bit |
| gpt-oss-20b21B · 3,6B attivi | 194–345 4,25 bit nativo | 284–505 4,25 bit nativo |
| Qwen3.6 35B A3B35B · 3B attivi | 115–205 8 bit | 169–300 8 bit |
| Qwen3.8 27B27B | 13–23 8 bit | 19–33 8 bit |
| Llama 3.3 70B Instruct70B | 5–9 8 bit | 14–24 4 bit |
| gpt-oss-120b117B · 5,1B attivi | 137–243 4,25 bit nativo | 200–356 4,25 bit nativo |
| Qwen3.5 122B A10B122B · 10B attivi | 35–62 8 bit | 51–91 8 bit |
| DeepSeek V4 Flash 0731284B · 13B attivi | 27–47 8 bit | 39–70 8 bit |
Domande
- Il M5 Ultra è più veloce del M3 Ultra per gli LLM?
- Il M5 Ultra legge la memoria circa il 47% più velocemente del M3 Ultra (1200 contro 819 GB/s), quindi scrive circa il 47% più velocemente con qualsiasi modello che stia in entrambi. La lettura di un prompt lungo dipende invece dalla potenza di calcolo della GPU, che questo confronto non copre.
- Quale esegue modelli più grandi, il M3 Ultra o il M5 Ultra?
- Nessuno dei due: entrambi arrivano fino a 512 GB. Con quel taglio il M3 Ultra esegue bene 60 e il M5 Ultra 61 modelli aperti su 73; il più veloce ne porta di più sopra i 10 token al secondo.
Altri confronti
- M2 Ultra vs M3 Ultra
- M3 Max vs M3 Ultra
- M3 Ultra vs M4 Max
- M3 Ultra vs M5 Max
- M4 Max vs M5 Ultra
- M5 Max vs M5 Ultra
Il M3 Ultra per l’AI locale · Il M5 Ultra per l’AI locale · Confronta tutti i modelli · Il miglior Mac per LLM in locale
Come è calcolato
Memoria: i parametri del modello a 8, 6, 4, 3 o 2 bit per peso più le scale per gruppo di MLX (mezzo bit per peso), oppure il suo formato nativo, con in più lo spazio per il contesto. Di default macOS lascia usare alla GPU circa il 75% della memoria unificata. Velocità: la larghezza di banda della memoria divisa per i byte letti per ogni token è il limite massimo per una conversazione; nei benchmark pubblici su Apple Silicon di llama.cpp, le esecuzioni reali arrivano a circa il 45%–80% di quel limite, ed è l’intervallo mostrato. Sono stime, non misurazioni: misura il tuo Mac su MLX Bench. Dati dei modelli dalla rispettiva scheda ufficiale, dati dei chip dalle specifiche tecniche di Apple. Verificato il 2026-10-19. Stessi dati di mlx.app/compare.