Lado a lado
| M5 Ultra | RTX PRO 6000 | |
|---|---|---|
| Qué es | Mac Studio (M5 Max or M5 Ultra) | Una tarjeta gráfica para un PC de sobremesa |
| Tamaños de memoria | 96, 256, 512 GB | 96 GB |
| Ancho de banda de memoria | 1200 GB/s | 1792 GB/s |
| Para modelos, como máximo | unos 384 GB | unos 95 GB |
| Modelos que van bien | 61 de 73 | 50 de 73 |
| Medido: escritura | 179 tok/s | 274 tok/s |
| Medido: lectura del prompt | 4945 tok/s | 14.855 tok/s |
Filas medidas: el mejor resultado de cada equipo en los benchmarks públicos de llama.cpp con Llama 2 7B Q4_0, escribiendo 128 tokens (tg128) y leyendo un prompt de 512 tokens (pp512), en tokens por segundo. El Mac usó Metal y el RTX PRO 6000, CUDA. Resultados de Apple Silicon · Resultados del RTX PRO 6000 Para los modelos contamos los 96 GB propios del RTX PRO 6000 menos 1 GB aproximadamente, y alrededor del 75 % de la memoria unificada del Mac, el valor por defecto de macOS.
Dónde gana cada uno
- Velocidad de escritura. El RTX PRO 6000 lee la memoria alrededor de un 49 % más rápido que el M5 Ultra (1792 frente a 1200 GB/s), así que escribe alrededor de un 49 % más rápido con cualquier modelo que quepa en ambos.
- Tamaño de modelo. El M5 Ultra tiene unos 384 GB para modelos y el RTX PRO 6000, unos 95 GB. 61 de 73 modelos abiertos populares funcionan bien en el M5 Ultra, y 50 en el RTX PRO 6000.
- Lectura de prompts largos. En la prueba medida de llama.cpp, el RTX PRO 6000 lee un prompt unas 3× más rápido (14.855 frente a 4945 tokens por segundo). Leer un prompt depende de la potencia de cálculo de la GPU, no del ancho de banda de memoria, y marca la espera hasta la primera palabra con un documento largo o una base de código.
- Software. El RTX PRO 6000 usa CUDA de NVIDIA, que la mayoría del software de IA admite primero, incluido el código de entrenamiento y muchas herramientas de imagen y vídeo. En un Mac, los modelos se ejecutan con MLX, el backend Metal de llama.cpp o el backend MPS de PyTorch.
- Lo que necesita alrededor. Una tarjeta gráfica necesita un PC alrededor, y sus propios 96 GB son el límite: un modelo que no cabe tiene que ejecutarse en parte desde la memoria del sistema del PC, mucho más lenta, o repartido en una segunda tarjeta.
- El Mac. También es un ordenador para el día a día, y ejecuta MLX Harness y MLX Node, hechos para Apple Silicon.
Velocidad con modelos populares
Tokens por segundo en una conversación, cada chip con su mayor tamaño de memoria (512 GB y 96 GB), con la mejor versión del modelo que cabe.
| Modelo | M5 Ultra | RTX PRO 6000 |
|---|---|---|
| Llama 3.1 8B Instruct8B | 64–113 8 bits | 95–169 8 bits |
| gpt-oss-20b21B · 3,6B activos | 284–505 4,25 bits nativo | 424–755 4,25 bits nativo |
| Qwen3.6 35B A3B35B · 3B activos | 169–300 8 bits | 252–448 8 bits |
| Qwen3.8 27B27B | 19–33 8 bits | 28–50 8 bits |
| Llama 3.3 70B Instruct70B | 14–24 4 bits | 11–19 8 bits |
| gpt-oss-120b117B · 5,1B activos | 200–356 4,25 bits nativo | 299–531 4,25 bits nativo |
| Qwen3.5 122B A10B122B · 10B activos | 51–91 8 bits | 144–256 4 bits |
| DeepSeek V4 Flash 0731284B · 13B activos | 39–70 8 bits | demasiado grande |
Preguntas
- ¿Es el RTX PRO 6000 más rápido que el M5 Ultra para LLM?
- El RTX PRO 6000 lee la memoria alrededor de un 49 % más rápido que el M5 Ultra (1792 frente a 1200 GB/s), así que escribe alrededor de un 49 % más rápido con cualquier modelo que quepa en ambos. En la prueba medida de llama.cpp, el RTX PRO 6000 lee un prompt unas 3× más rápido (14.855 frente a 4945 tokens por segundo). Leer un prompt depende de la potencia de cálculo de la GPU, no del ancho de banda de memoria, y marca la espera hasta la primera palabra con un documento largo o una base de código.
- ¿Cuál ejecuta modelos más grandes, el M5 Ultra o el RTX PRO 6000?
- El M5 Ultra tiene unos 384 GB para modelos y el RTX PRO 6000, unos 95 GB. 61 de 73 modelos abiertos populares funcionan bien en el M5 Ultra, y 50 en el RTX PRO 6000.
- ¿Funciona MLX Node en el RTX PRO 6000?
- No. MLX Node y MLX Harness solo funcionan en Macs con Apple Silicon, con el framework MLX de Apple.
Más comparaciones
El M5 Ultra para IA local · Compara todos los modelos · La mejor Mac para LLM en local
Cómo se calcula
Memoria: los parámetros del modelo a 8, 6, 4, 3 o 2 bits por peso más las escalas por grupo de MLX (medio bit por peso), o su formato nativo, con espacio extra para el contexto. De forma predeterminada, macOS deja que la GPU use alrededor del 75 % de la memoria unificada. Velocidad: el ancho de banda de memoria dividido entre los bytes leídos por token es el techo para una conversación; en los benchmarks públicos de Apple Silicon de llama.cpp, las ejecuciones reales alcanzan entre el 45 % y el 80 % de ese techo, que es el rango que se muestra. Son estimaciones, no mediciones: mide tu propia Mac en MLX Bench. Datos de los modelos tomados de cada ficha oficial; datos de los chips, de las especificaciones técnicas de Apple. Revisado el 2026-10-19. Los mismos datos que mlx.app/compare.
Datos del RTX PRO 6000: NVIDIA: RTX PRO 6000 Blackwell Workstation Edition, NVIDIA: RTX PRO Desktop GPUs (compare table).