Por tamanho de memória
| Memória | Rodam bem | O maior que roda bem | gpt-oss-20b |
|---|---|---|---|
| 64 GB800 GB/s | 39 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 GB800 GB/s | 47 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 GB800 GB/s | 49 | MiniMax M2.7 | 189–337 tok/s |
Modelos de Mac: Mac Pro (2023), Mac Pro (Rack, 2023). Nem todo tamanho de memória é oferecido em todo modelo; as especificações técnicas da Apple mostram com o que cada um vem.
Perguntas
- Mac Pro com M2 Ultra é bom para LLMs locais?
- Com 192 GB, roda bem 49 de 73 modelos abertos, até MiniMax M2.7, e escreve cerca de 189–337 tokens por segundo com gpt-oss-20b. O chip M2 Ultra lê a memória a 800 GB/s, o que define a velocidade de escrita.
- Mac Pro com M2 Ultra: quanta memória ter para IA?
- Com 64 GB, roda bem 39 modelos abertos; com 192 GB, 49, até MiniMax M2.7. A memória decide quais modelos cabem e não pode ser ampliada depois.
Outros Macs
Outros Macs com M2 Ultra:
Frente a frente:
O M2 Ultra para IA local · O melhor Mac para LLMs locais · Todos os Macs
Como é calculado
Memória: os parâmetros do modelo com 8, 6, 4, 3 ou 2 bits por peso, mais as escalas por grupo do MLX (meio bit por peso), ou o formato nativo do modelo, com espaço extra para o contexto. Por padrão, o macOS deixa a GPU usar cerca de 75% da memória unificada. Velocidade: a largura de banda da memória dividida pelos bytes lidos por token é o teto para uma conversa; nos benchmarks públicos de Apple Silicon do llama.cpp, execuções reais chegam a cerca de 45% a 80% desse teto, que é a faixa mostrada. São estimativas, não medições: meça o seu Mac no MLX Bench. Dados dos modelos tirados de cada model card oficial; dados dos chips, das especificações técnicas da Apple. Verificado em 2026-10-19. Os mesmos dados de mlx.app/compare.