Rode um LLM no seu Mac.

1O que cabe no seu Mac

Os pesos de um modelo precisam caber na memória com folga para o contexto e o macOS. Com 4 bits por peso, conte com cerca de 0,55 a 0,6 GB por bilhão de parâmetros.

Velocidade é outra história: cada novo token exige ler os pesos ativos da memória uma vez, então os tokens por segundo acompanham a largura de banda da memória. Nosso guia do melhor Mac para LLM local cobre todos os chips.

2O jeito fácil: LM Studio

O LM Studio é um app gratuito para Mac com janela de chat e navegador de modelos. No Apple Silicon, ele roda modelos no formato MLX da Apple e também no formato GGUF usado pelo llama.cpp.

1. Baixe o LM Studio e abra-o.
2. Procure um modelo, prefira uma versão MLX no Apple Silicon e escolha um tamanho que caiba na sua memória.
3. Carregue e comece a conversar. Você também pode ativar o servidor local dele para outros apps.

3Um comando: Ollama

O Ollama roda modelos pelo Terminal e os disponibiliza para outros apps do seu Mac. Depois de instalado, um comando baixa e inicia um modelo:

ollama run llama3.2

Desde a versão 0.19, o Ollama no Apple Silicon tem uma prévia baseada no framework MLX da Apple para os modelos compatíveis, com grandes ganhos de velocidade; a prévia pede um Mac com mais de 32 GB de memória (Ollama).

4O jeito mais rápido: o MLX da Apple e o mlx-lm

O MLX é o framework de machine learning de código aberto da Apple para o Apple Silicon, e o mlx-lm é o pacote dele para modelos de linguagem. Milhares de modelos estão prontos para uso na organização mlx-community do Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Use mlx_lm.chat para conversar no Terminal e mlx_lm.server para uma API local que outros apps podem chamar. Nos chips M5, o MLX usa os novos aceleradores neurais da GPU: a Apple mediu o primeiro token chegando de 3,3 a 4,1 vezes mais cedo do que no M4 (Apple Machine Learning Research).

5Meça e coloque para trabalhar

O MLX Bench é um ranking aberto da velocidade do MLX em cada chip Apple Silicon: tokens por segundo de geração e de prompt, e pico de memória. Rode o script de um arquivo só no seu Mac e veja onde ele fica.

Quando você não está usando o Mac, ele pode rodar IA para outras pessoas. O MLX Node é um app gratuito que executa tarefas de IA para a MLX Network com o mesmo framework MLX e ganha tokens MLX pelo trabalho verificado, dentro dos limites que você define.

6Perguntas

Um MacBook Air consegue rodar um LLM?

Sim. Um MacBook Air com 16 GB roda com folga modelos de 7B a 14B em 4 bits; com 32 GB, modelos de até cerca de 30B. Ele será mais lento que um Mac com chip Pro ou Max, que tem mais largura de banda de memória.

O MLX é mais rápido que o Ollama no Mac?

Muitas vezes, sim, porque o MLX foi escrito para o Apple Silicon. A própria prévia do Ollama baseada em MLX relata grandes ganhos de velocidade no Apple Silicon. Nosso guia MLX vs Ollama compara os dois em detalhe.

Modelos locais funcionam offline?

Sim. Depois de baixado, o modelo roda inteiramente no seu Mac e os seus prompts nunca saem dele.

Quanta memória preciso para um modelo de 70B?

Cerca de 40 GB para os pesos em 4 bits, então um Mac com 64 GB ou mais. Modelos mixture-of-experts de qualidade parecida podem precisar de mais memória, mas rodam mais rápido.