EntrarCriar carteira

O que um M3 Max com 96 GB roda?

38 de 73 modelos abertos rodam bem nele. Por padrão, a GPU pode usar cerca de 72 GB dos seus 96 GB, e o chip lê a memória a 300 GB/s, o que define a velocidade de escrita. Presente em: MacBook Pro (14-inch, M3 Pro or M3 Max, Nov 2023), MacBook Pro (16-inch, Nov 2023).

O mais inteligente que roda bemNemotron 3.5 Bolt 74B A9B6 bits · 60,1 GB · 18–33 tok/sO maior que roda bemgpt-oss-120b4,25 bits nativo · 65,3 GB · 50–89 tok/sPara códigoQwen3 Coder Next6 bits · 65 GB · 56–100 tok/s

Roda bem 43

Cabe com espaço para o contexto, a 10 tokens por segundo ou mais.

ModeloVersãoMemóriaTokens/s
Nemotron 3.5 Bolt 74B A9B74B · 9B ativos · Inteligência 21,46 bits60,1 GB18–33
Qwen3.6 35B A3B35B · 3B ativos · Inteligência 18,28 bits37,2 GB42–75
Nemotron 3.5 Lightning 30B A3B30B · 3B ativos · Inteligência 12,98 bits31,9 GB42–75
MiniCPM5 2B2,52B · Inteligência 12,58 bits2,7 GB50–89
gpt-oss-120b117B · 5,1B ativos · Inteligência 11,64,25 bits nativo65,3 GB50–89
Qwen3.5 9B9B · Inteligência 11,28 bits9,6 GB14–25
Granite 4.2 8B8B · Inteligência 11,18 bits8,5 GB16–28
Qwen3 Coder Next80B · 3B ativos · Inteligência 9,26 bits65 GB56–100
Granite 4.2 3B3B · Inteligência 9,18 bits3,2 GB42–75
gpt-oss-20b21B · 3,6B ativos · Inteligência 94,25 bits nativo13,8 GB71–126
Nemotron 3 Nano 30B A3B30B · 3,5B ativos · Inteligência 8,98 bits31,9 GB36–65
Gemma 4 E4B8B · Inteligência 8,98 bits8,5 GB28–50
Llama 4 Scout 17B-16E Instruct109B · 17B ativos · Inteligência 6,54 bits61,3 GB14–25
Ministral 3 8B8,9B · Inteligência 5,58 bits9,5 GB14–25
Nemotron 3 Nano 4B3,97B · Inteligência 4,88 bits4,2 GB32–57
GLM-4.5 Air106B · 12B ativos4 bits59,6 GB20–35
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B ativos8 bits32,4 GB39–69
GLM-4.7 Flash30B · 3B ativos8 bits31,9 GB42–75
Gemma 4 26B A4B25,2B · 3,8B ativos8 bits26,8 GB34–60
Devstral Small 2 (24B)24B4 bits13,5 GB10–18
Magistral Small 1.2 (2509)24B4 bits13,5 GB10–18
Mistral Small 3.2 (24B)24B4 bits13,5 GB10–18
LFM2.5 24B A2B24B · 2B ativos8 bits25,5 GB64–114
Phi-4 Reasoning Vision 15B15B6 bits12,2 GB11–20
Phi-4 (14B)14B6 bits11,4 GB12–21
Gemma 4 12B Unified12B8 bits12,7 GB11–19
Qwen3 8B8,2B8 bits8,7 GB16–28
Llama 3.1 8B Instruct8B8 bits8,5 GB16–28
Gemma 4 E2B5,1B8 bits5,4 GB56–100
Qwen3.5 4B4B8 bits4,3 GB31–56
Phi-4 mini instruct3,8B8 bits4 GB34–60
Llama 3.2 3B Instruct3,21B8 bits3,4 GB40–71
SmolLM3 3B3B8 bits3,2 GB42–75
LFM2.5 2.6B2,69B8 bits2,9 GB47–83
Qwen3.5 2B2B8 bits2,1 GB64–114
Llama 3.2 1B Instruct1,23B8 bits1,3 GB104–185
Qwen3.5 0.8B0,8B8 bits0,9 GB150–267
Qwen3 0.6B0,6B8 bits0,6 GB225–400
Qwen3.8 Flash Next180B · 6B ativos · Inteligência 39,82 bits qualidade menor56,3 GB71–126
Qwen3.5 122B A10B122B · 10B ativos · Inteligência 15,63 bits qualidade menor53,4 GB31–55
Mistral Small 4 (119B)119B · 6,5B ativos · Inteligência 11,33 bits qualidade menor52,1 GB48–86
Ornith 1.5 122B122B · 10B ativos3 bits qualidade menor53,4 GB31–55
Nemotron 3 Super 120B A12B120B · 12B ativos3 bits qualidade menor52,5 GB25–45

Roda, mas devagar 8

Cabe, mas abaixo de 10 tokens por segundo: serve para trabalho em lote, mas é lento para chat.

ModeloVersãoMemóriaTokens/s
Qwen3.8 27B27B · Inteligência 33,78 bits28,7 GB5–8
Muse Glimmer 30B29,6B · Inteligência 17,58 bits31,5 GB4–8
Gemma 4 31B30,7B · Inteligência 14,78 bits32,6 GB4–7
Granite 4.2 30B30B · Inteligência 12,78 bits31,9 GB4–8
Llama 3.3 70B Instruct70B6 bits56,9 GB2–4
Qwen3.6 27B27B8 bits28,7 GB5–8
Mistral Medium 3.5 (128B)128B · Inteligência 14,23 bits qualidade menor56 GB2–4
Devstral 2 (123B)123B3 bits qualidade menor53,8 GB3–4

Cabe no limite 1

Precisa de quase toda a memória: aumente o limite de memória da GPU e mantenha o contexto curto.

ModeloVersãoMemóriaTokens/s
MiniMax M2.7230B · 10B ativos2 bits qualidade menor71,9 GB44–77

Grande demais 21

Precisa de mais de 96 GB de memória, mesmo com 2 bits.

Outros Macs

Todos os Macs com 96 GB, de qualquer chip.

O M3 Max com mais ou menos memória:

Chips vizinhos:

Frente a frente:

Compare com qualquer Mac ou GPU · O M3 Max para IA local · O melhor Mac para LLMs locais · Todos os Macs

Perguntas

Qual é o melhor LLM para um M3 Max com 96 GB?
Entre os modelos com Intelligence Index publicado, Nemotron 3.5 Bolt 74B A9B tem a maior pontuação entre os que rodam bem aqui: 6 bits, cerca de 18–33 tokens por segundo. O maior que roda bem é gpt-oss-120b.
Um M3 Max com 96 GB roda Llama 3.3 70B?
Sim, mas devagar: 6 bits, a cerca de 2–4 tokens por segundo.
Qual é a velocidade do gpt-oss-20b em um M3 Max?
Cerca de 71–126 tokens por segundo (4,25 bits nativo), pelos 300 GB/s de largura de banda da memória do chip.

Rode os modelos com o MLX Harness (grátis, open source) ou com o mlx-lm da Apple no Terminal: passo a passo.

Como é calculado

Memória: os parâmetros do modelo com 8, 6, 4, 3 ou 2 bits por peso, mais as escalas por grupo do MLX (meio bit por peso), ou o formato nativo do modelo, com espaço extra para o contexto. Por padrão, o macOS deixa a GPU usar cerca de 75% da memória unificada. Velocidade: a largura de banda da memória dividida pelos bytes lidos por token é o teto para uma conversa; nos benchmarks públicos de Apple Silicon do llama.cpp, execuções reais chegam a cerca de 45% a 80% desse teto, que é a faixa mostrada. São estimativas, não medições: meça o seu Mac no MLX Bench. Dados dos modelos tirados de cada model card oficial; dados dos chips, das especificações técnicas da Apple. Verificado em 2026-10-19. Os mesmos dados de mlx.app/compare.

Quais LLMs um M3 Max com 96 GB roda? Modelos e velocidade