Fianco a fianco
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| Che cos’è | Mac Studio (M5 Max or M5 Ultra) | Una scheda grafica per PC desktop |
| Tagli di memoria | 96, 256, 512 GB | 96 GB |
| Larghezza di banda della memoria | 1200 GB/s | 1792 GB/s |
| Per i modelli, al massimo | circa 384 GB | circa 95 GB |
| Modelli che girano bene | 61 su 73 | 50 su 73 |
| Misurato: scrittura | 179 tok/s | 274 tok/s |
| Misurato: lettura del prompt | 4945 tok/s | 14.855 tok/s |
Righe misurate: il risultato più veloce di ogni macchina nei benchmark pubblici di llama.cpp con Llama 2 7B Q4_0, scrivendo 128 token (tg128) e leggendo un prompt di 512 token (pp512), in token al secondo. Il Mac usava Metal, il RTX PRO 6000 CUDA. Risultati Apple Silicon · Risultati del RTX PRO 6000 Per i modelli contiamo i 96 GB propri del RTX PRO 6000 meno circa 1 GB, e circa il 75% della memoria unificata del Mac, il valore predefinito di macOS.
Dove vince ciascuno
- Velocità di scrittura. Il RTX PRO 6000 legge la memoria circa il 49% più velocemente del M5 Ultra (1792 contro 1200 GB/s), quindi scrive circa il 49% più velocemente con qualsiasi modello che stia in entrambi.
- Dimensione dei modelli. Il M5 Ultra ha circa 384 GB per i modelli, il RTX PRO 6000 circa 95 GB. 61 dei 73 modelli aperti più popolari girano bene sul M5 Ultra, 50 sul RTX PRO 6000.
- Lettura di prompt lunghi. Nel test misurato di llama.cpp il RTX PRO 6000 legge un prompt circa 3× più velocemente (14.855 contro 4945 token al secondo). La lettura di un prompt dipende dalla potenza di calcolo della GPU, non dalla banda della memoria, e determina l’attesa prima della prima parola con un documento lungo o una codebase.
- Software. Il RTX PRO 6000 usa CUDA di NVIDIA, che la maggior parte del software di IA supporta per primo, compresi il codice di addestramento e molti strumenti per immagini e video. Su un Mac i modelli girano invece con MLX, il backend Metal di llama.cpp o il backend MPS di PyTorch.
- Intorno. Una scheda grafica ha bisogno di un PC intorno, e i suoi 96 GB sono il limite: un modello che non ci sta deve girare in parte dalla memoria di sistema del PC, molto più lenta, o su una seconda scheda.
- Il Mac. È anche un computer per tutti i giorni, e fa girare MLX Harness e MLX Node, pensati per Apple Silicon.
Velocità con i modelli più popolari
Token al secondo per una conversazione, ogni chip con il suo taglio di memoria più grande (512 GB e 96 GB), con la versione migliore del modello che ci sta.
| Modello | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8 bit | 95–169 8 bit |
| gpt-oss-20b21B · 3,6B attivi | 284–505 4,25 bit nativo | 424–755 4,25 bit nativo |
| Qwen3.6 35B A3B35B · 3B attivi | 169–300 8 bit | 252–448 8 bit |
| Qwen3.8 27B27B | 19–33 8 bit | 28–50 8 bit |
| Llama 3.3 70B Instruct70B | 14–24 4 bit | 11–19 8 bit |
| gpt-oss-120b117B · 5,1B attivi | 200–356 4,25 bit nativo | 299–531 4,25 bit nativo |
| Qwen3.5 122B A10B122B · 10B attivi | 51–91 8 bit | 144–256 4 bit |
| DeepSeek V4 Flash 0731284B · 13B attivi | 39–70 8 bit | troppo grande |
Domande
- Il RTX PRO 6000 è più veloce del M5 Ultra per gli LLM?
- Il RTX PRO 6000 legge la memoria circa il 49% più velocemente del M5 Ultra (1792 contro 1200 GB/s), quindi scrive circa il 49% più velocemente con qualsiasi modello che stia in entrambi. Nel test misurato di llama.cpp il RTX PRO 6000 legge un prompt circa 3× più velocemente (14.855 contro 4945 token al secondo). La lettura di un prompt dipende dalla potenza di calcolo della GPU, non dalla banda della memoria, e determina l’attesa prima della prima parola con un documento lungo o una codebase.
- Quale esegue modelli più grandi, il M5 Ultra o il RTX PRO 6000?
- Il M5 Ultra ha circa 384 GB per i modelli, il RTX PRO 6000 circa 95 GB. 61 dei 73 modelli aperti più popolari girano bene sul M5 Ultra, 50 sul RTX PRO 6000.
- MLX Node funziona sul RTX PRO 6000?
- No. MLX Node e MLX Harness funzionano solo sui Mac con Apple Silicon, con il framework MLX di Apple.
Altri confronti
Il M5 Ultra per l’AI locale · Confronta tutti i modelli · Il miglior Mac per LLM in locale
Come è calcolato
Memoria: i parametri del modello a 8, 6, 4, 3 o 2 bit per peso più le scale per gruppo di MLX (mezzo bit per peso), oppure il suo formato nativo, con in più lo spazio per il contesto. Di default macOS lascia usare alla GPU circa il 75% della memoria unificata. Velocità: la larghezza di banda della memoria divisa per i byte letti per ogni token è il limite massimo per una conversazione; nei benchmark pubblici su Apple Silicon di llama.cpp, le esecuzioni reali arrivano a circa il 45%–80% di quel limite, ed è l’intervallo mostrato. Sono stime, non misurazioni: misura il tuo Mac su MLX Bench. Dati dei modelli dalla rispettiva scheda ufficiale, dati dei chip dalle specifiche tecniche di Apple. Verificato il 2026-10-19. Stessi dati di mlx.app/compare.
Dati del RTX PRO 6000: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).