EntrarCriar carteira

O M3 Ultra para IA local.

O M3 Ultra tem até 512 GB de memória unificada, lida a até 819 GB/s. Veja o que isso significa para rodar modelos de linguagem em um Mac com esse chip, calculado a partir dos números da própria Apple.

1As especificações que importam para IA

Memória unificada512 GB
Largura de banda da memória819 GB/s
Presente emMac Studio (2025)
Vaga dedicada para eleVaga Ultra: minera até 320 MLX por dia

2Quais modelos cabem

Com 4 bits por peso, um modelo precisa de pouco mais de meio gigabyte por bilhão de parâmetros, mais espaço para o contexto e para o macOS. Com 512 GB, o M3 Ultra comporta com folga modelos de até cerca de 682 bilhões de parâmetros.

Modelo em 4 bitsMemória necessáriaCabe no M3 Ultra
Modelo de 8B4,5 GBSim
Modelo de 14B7,9 GBSim
Modelo de 32B18 GBSim
Modelo de 70B39,4 GBSim
gpt-oss-120b, mixture-of-experts65 GBSim
Qwen3.5-397B-A17B, mixture-of-experts223,3 GBSim
DeepSeek-V4.1-Flash, mixture-of-experts316 GBSim

3Qual a velocidade

Gerar texto é limitado pela largura de banda da memória: cada novo token lê uma vez os pesos ativos do modelo. Dividindo os 819 GB/s do M3 Ultra pelos bytes lidos por token, chega-se ao teto abaixo. Na prática, costuma-se atingir de 45% a 80% dele (benchmarks do llama.cpp).

Modelo em 4 bitsLido por tokenTeto para um chat
Modelo de 8B4,5 GB182 tokens/s
Modelo de 14B7,9 GB104 tokens/s
Modelo de 32B18 GB46 tokens/s
Modelo de 70B39,4 GB21 tokens/s
gpt-oss-120b, mixture-of-experts2,7 GB303 tokens/s
Qwen3.5-397B-A17B, mixture-of-experts9,6 GB85 tokens/s
DeepSeek-V4.1-Flash, mixture-of-experts9 GB91 tokens/s

Medido: com M3 Ultra (80-core GPU), o llama.cpp gera 92 tokens por segundo com Llama-2-7B (Q4_0) nos seus benchmarks públicos.

5Compare com outros chips

6Perguntas

O M3 Ultra roda um modelo de 70B?
Sim. Um modelo de 70B em 4 bits precisa de cerca de 40 GB, e o M3 Ultra tem até 512 GB. Espere um teto de cerca de 21 tokens por segundo para um chat.
Quantos tokens por segundo o M3 Ultra alcança?
Para um modelo de 8B em 4 bits, o teto é de cerca de 182 tokens por segundo, e na prática se chega a algo entre metade e quatro quintos disso. Modelos maiores são proporcionalmente mais lentos.
O M3 Ultra é bom para IA?
Para rodar modelos localmente, memória e largura de banda são o que mais importa. O M3 Ultra tem até 512 GB a 819 GB/s, o suficiente para modelos de até cerca de 682 bilhões de parâmetros. Ele também pode ganhar executando trabalho de IA para a MLX Network com o MLX Node.

Fontes

  1. Apple: Mac Studio (2025) specssupport.apple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
M3 Ultra para LLMs locais: memória, velocidade e o que cabe | MLX