Por tamanho de memória
| Memória | Rodam bem | O maior que roda bem | gpt-oss-20b |
|---|---|---|---|
| 24 GB307 GB/s | 28 | Gemma 4 26B A4B | 73–129 tok/s |
| 48 GB307 GB/s | 33 | Qwen3.6 35B A3B | 73–129 tok/s |
| 64 GB307 GB/s | 34 | Nemotron 3.5 Bolt 74B A9B | 73–129 tok/s |
Modelos de Mac: Mac mini (M6 or M5 Pro). Nem todo tamanho de memória é oferecido em todo modelo; as especificações técnicas da Apple mostram com o que cada um vem.
Perguntas
- Mac mini com M5 Pro é bom para LLMs locais?
- Com 64 GB, roda bem 34 de 73 modelos abertos, até Nemotron 3.5 Bolt 74B A9B, e escreve cerca de 73–129 tokens por segundo com gpt-oss-20b. O chip M5 Pro lê a memória a 307 GB/s, o que define a velocidade de escrita.
- Mac mini com M5 Pro: quanta memória ter para IA?
- Com 24 GB, roda bem 28 modelos abertos; com 64 GB, 34, até Nemotron 3.5 Bolt 74B A9B. A memória decide quais modelos cabem e não pode ser ampliada depois.
Outros Macs
Mac mini com outros chips:
Outros Macs com M5 Pro:
Frente a frente:
O M5 Pro para IA local · O melhor Mac para LLMs locais · Todos os Macs
Como é calculado
Memória: os parâmetros do modelo com 8, 6, 4, 3 ou 2 bits por peso, mais as escalas por grupo do MLX (meio bit por peso), ou o formato nativo do modelo, com espaço extra para o contexto. Por padrão, o macOS deixa a GPU usar cerca de 75% da memória unificada. Velocidade: a largura de banda da memória dividida pelos bytes lidos por token é o teto para uma conversa; nos benchmarks públicos de Apple Silicon do llama.cpp, execuções reais chegam a cerca de 45% a 80% desse teto, que é a faixa mostrada. São estimativas, não medições: meça o seu Mac no MLX Bench. Dados dos modelos tirados de cada model card oficial; dados dos chips, das especificações técnicas da Apple. Verificado em 2026-10-19. Os mesmos dados de mlx.app/compare.