1As especificações que importam para IA
| Memória unificada | 512 GB |
|---|---|
| Largura de banda da memória | 1,2 TB/s |
| Presente em | Mac Studio (2026) |
| Vaga dedicada para ele | Vaga Ultra Latest: minera até 480 MLX por dia |
2Quais modelos cabem
Com 4 bits por peso, um modelo precisa de pouco mais de meio gigabyte por bilhão de parâmetros, mais espaço para o contexto e para o macOS. Com 512 GB, o M5 Ultra comporta com folga modelos de até cerca de 682 bilhões de parâmetros.
| Modelo em 4 bits | Memória necessária | Cabe no M5 Ultra |
|---|---|---|
| Modelo de 8B | 4,5 GB | Sim |
| Modelo de 14B | 7,9 GB | Sim |
| Modelo de 32B | 18 GB | Sim |
| Modelo de 70B | 39,4 GB | Sim |
| gpt-oss-120b, mixture-of-experts | 65 GB | Sim |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Sim |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Sim |
3Qual a velocidade
Gerar texto é limitado pela largura de banda da memória: cada novo token lê uma vez os pesos ativos do modelo. Dividindo os 1,2 TB/s do M5 Ultra pelos bytes lidos por token, chega-se ao teto abaixo. Na prática, costuma-se atingir de 45% a 80% dele (benchmarks do llama.cpp).
| Modelo em 4 bits | Lido por token | Teto para um chat |
|---|---|---|
| Modelo de 8B | 4,5 GB | 267 tokens/s |
| Modelo de 14B | 7,9 GB | 152 tokens/s |
| Modelo de 32B | 18 GB | 67 tokens/s |
| Modelo de 70B | 39,4 GB | 30 tokens/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 444 tokens/s |
| Qwen3.5-397B-A17B, mixture-of-experts | 9,6 GB | 125 tokens/s |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 tokens/s |
Medido: com M5 Ultra (80-core GPU), o llama.cpp gera 179 tokens por segundo com Llama-2-7B (Q4_0) nos seus benchmarks públicos.
Os chips da geração M5 trazem aceleradores neurais na GPU, então leem prompts várias vezes mais rápido que o M4: a Apple mediu o primeiro token chegando de 3,3 a 4,1 vezes antes com o MLX (Apple).
5Compare com outros chips
6Perguntas
- O M5 Ultra roda um modelo de 70B?
- Sim. Um modelo de 70B em 4 bits precisa de cerca de 40 GB, e o M5 Ultra tem até 512 GB. Espere um teto de cerca de 30 tokens por segundo para um chat.
- Quantos tokens por segundo o M5 Ultra alcança?
- Para um modelo de 8B em 4 bits, o teto é de cerca de 267 tokens por segundo, e na prática se chega a algo entre metade e quatro quintos disso. Modelos maiores são proporcionalmente mais lentos.
- O M5 Ultra é bom para IA?
- Para rodar modelos localmente, memória e largura de banda são o que mais importa. O M5 Ultra tem até 512 GB a 1,2 TB/s, o suficiente para modelos de até cerca de 682 bilhões de parâmetros. Ele também pode ganhar executando trabalho de IA para a MLX Network com o MLX Node.
Fontes
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com