O melhor Mac para LLMs locais.

1Por que memória e largura de banda decidem tudo

Um modelo de linguagem escreve um token por vez e, para cada um, lê da memória todos os pesos ativos. Então o limite de velocidade de uma única conversa é, mais ou menos, a largura de banda da memória dividida pelo tamanho dos pesos ativos. Nos benchmarks públicos do llama.cpp, a geração real chega a 43% a 80% desse limite nos chips da Apple (llama.cpp).

Ler o seu prompt é diferente: essa parte é limitada pela computação, e é por isso que os chips da geração M5, com aceleradores neurais na GPU, processam prompts várias vezes mais rápido que os anteriores (Apple).

2Todos os chips, comparados

Chips mais antigos ainda funcionam bem quando têm a memória. Um M1 Max ou M2 Max com 64 GB lê a 400 GB/s, mais do que qualquer chip básico atual, e costuma custar bem menos usado.

3Qual Mac comprar

Só para experimentar: MacBook Air ou Mac mini com 16 a 32 GB

Roda com folga modelos de 7B a 14B, e modelos da classe de 30B com 32 GB. Bom para chat, escrita e ajuda leve com código.

Melhor custo-benefício: chip Pro com 64 GB

Um Mac mini ou MacBook Pro com M4 Pro ou M5 Pro comporta modelos da classe de 70B e roda modelos médios em bom ritmo. O ponto ideal para a maioria dos desenvolvedores.

IA local para valer: chip Max com 128 GB

Roda o gpt-oss-120b (cerca de 65 GB em 4 bits) em um notebook; pelo número de largura de banda da Apple, o teto teórico para um único fluxo no M5 Max é de cerca de 225 tokens por segundo. A melhor opção portátil.

Os maiores modelos: Mac Studio com Ultra

Até 512 GB a 1,2 TB/s com o M5 Ultra comportam modelos com centenas de bilhões de parâmetros em uma única mesa. Para modelos ainda maiores, Macs podem ser unidos em um cluster via Thunderbolt 5: veja clusters de IA com Mac.

4Faça o Mac contribuir

Um Mac comprado para IA passa a maior parte do tempo esperando. O MLX Node é um app gratuito que empresta essa capacidade ociosa à MLX Network, executando tarefas de IA com o mesmo framework MLX e ganhando tokens MLX pelo trabalho verificado. Uma vaga dedicada combinada com o chip multiplica o que ele ganha: uma vaga Pro roda com rendimento total em um chip Pro ou Max, e uma vaga Ultra em um chip Ultra.

Compare o seu Mac no MLX Bench antes: ele mostra os tokens por segundo medidos com modelos abertos em cada chip.

5Perguntas

16 GB bastam para um LLM local?

Sim, para modelos de até cerca de 14B parâmetros em 4 bits. Para modelos maiores, ou contextos longos, 32 GB ou mais é bem mais confortável.

Mac Studio ou MacBook Pro para LLMs?

Os dois vêm com chips Max e até 128 GB. O MacBook Pro é portátil; o Mac Studio fica mais frio sob cargas longas e é o único Mac com chips Ultra e até 512 GB.

Um Mac é melhor que uma GPU Nvidia para IA local?

Para os maiores modelos em casa, muitas vezes sim: a memória unificada de um Mac comporta bem mais do que a memória de uma placa de vídeo de consumo. Uma placa Nvidia topo de linha é mais rápida com modelos que cabem na memória dela.

O M5 deixa os LLMs mais rápidos?

Sim, principalmente na leitura dos prompts: a Apple mediu o primeiro token chegando de 3,3 a 4,1 vezes mais cedo no M5 do que no M4 com MLX. A velocidade de geração cresce com a largura de banda da memória, que subiu 28% do M4 para o M5.