Baixe e rode LLMs no seu Mac.

1Onde encontrar modelos

O Hugging Face hospeda a maioria dos modelos de pesos abertos. O mesmo modelo costuma vir em várias versões, e o formato decide qual app consegue rodá-lo:

Não sabe qual runtime usar? MLX vs Ollama vs llama.cpp compara os três. É novo em tudo isso? Comece por rodar um LLM no Mac.

2Escolha um tamanho que caiba na sua memória

Os pesos de um modelo precisam caber na memória com folga. O MLX guarda cada peso quantizado com os seus bits mais uma escala e um viés compartilhados por grupo de 64 pesos, cerca de meio bit a mais por peso (MLX). Assim, 4 bits custam cerca de 0,56 GB por bilhão de parâmetros e 8 bits, cerca de 1,06 GB.

Por padrão, o macOS deixa a GPU usar só parte da memória unificada; o Compare considera cerca de três quartos, e o README do mlx-lm mostra como aumentar o limite no macOS 15 ou posterior com sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Em modelos de mistura de especialistas, o total de parâmetros define a memória e os parâmetros ativos definem a velocidade. O Compare faz essa conta para cada modelo popular e cada chip da Apple, e o melhor Mac para LLMs locais explica por que a largura de banda define a velocidade.

3Quantização: 4 bits, 8 bits e o resto

A quantização guarda cada peso em menos bits, então o modelo ocupa menos memória e roda mais rápido, com alguma perda de qualidade. No Mac, 4 bits é o ponto de partida comum. 8 bits fica mais perto do original e tem o dobro do tamanho. Abaixo de 4 bits, os arquivos ficam pequenos, mas as respostas pioram mais cedo, então só tente quando um modelo maior não caberia de outro jeito.

• Versões MLX dizem isso no nome: -4bit, -8bit e, às vezes, versões de precisão mista que mantêm camadas sensíveis com mais bits.
• Arquivos GGUF usam os nomes do llama.cpp: Q4_K_M, Q5_K_M, Q8_0 e assim por diante. Quando você roda no Ollama um repositório GGUF do Hugging Face sem indicar nenhum, ele escolhe Q4_K_M se existir (Hugging Face).
• Crie a sua versão MLX a partir dos pesos originais: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q grava uma cópia em 4 bits (mlx-lm).

4Espaço em disco e onde os modelos ficam

Um download tem mais ou menos o tamanho dos pesos da tabela acima, então um modelo 8B em 4 bits ocupa alguns gigabytes e um modelo 70B, dezenas de gigabytes. Testar vários tamanhos ou versões do mesmo modelo soma rápido.

O mlx-lm e outras ferramentas do Hugging Face guardam os downloads em ~/.cache/huggingface/hub; defina HF_HOME ou HF_HUB_CACHE para mudar o local. hf cache ls mostra o que está lá e hf cache rm apaga um modelo (Hugging Face). O Ollama e o LM Studio guardam os modelos nas próprias pastas e cuidam deles sozinhos.

5Modelos com acesso restrito e tokens do Hugging Face

Alguns modelos, entre eles o Llama, têm acesso restrito: você precisa aceitar os termos do criador antes de poder baixá-los (Hugging Face).

1. Entre em uma conta gratuita do Hugging Face e abra a página do modelo.
2. Aceite os termos com o botão da página (por padrão Agree and send request to access repo). Alguns criadores aprovam os pedidos manualmente, o que demora mais.
3. Crie um token de acesso nas configurações do Hugging Face.
4. Passe o token para as suas ferramentas: rode hf auth login no Terminal para o mlx-lm e outras ferramentas do Hugging Face (Hugging Face), ou cole-o no campo de token do Hugging Face do app.

6Rode: quatro jeitos

mlx-lm: o MLX da Apple no Terminal

Instale com pip e depois indique qualquer modelo MLX do Hugging Face; a primeira execução faz o download (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server serve um modelo em uma API estilo OpenAI em localhost:8080 para outros apps (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: um app com navegador de modelos

O LM Studio busca e baixa modelos do Hugging Face dentro do app e roda modelos MLX no Apple Silicon, além de GGUF pelo llama.cpp. Ele exige Apple Silicon e macOS 14 ou posterior, e recomenda 16 GB de memória ou mais (LM Studio).

Ollama: um comando

O Ollama roda modelos da própria biblioteca e qualquer repositório GGUF do Hugging Face diretamente, opcionalmente com uma tag de quantização (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: nosso app gratuito

O MLX Harness é o nosso app gratuito para Mac, baseado no vMLX: ele busca modelos MLX no Hugging Face, conversa, roda ferramentas e modelos de imagem, e serve tudo em uma API local. O gateway dele também usa a porta 8080, então não o rode junto com o mlx_lm.server na mesma porta. Quando você não estiver usando o Mac, o MLX Node pode emprestá-lo à MLX Network.

7Perguntas

Onde baixo LLMs para Mac?

No Hugging Face. Procure versões MLX, muitas publicadas pela mlx-community, ou arquivos GGUF. O LM Studio e o Ollama podem buscar e baixar para você.

Qual tamanho de modelo devo baixar?

Um cujos pesos caibam com folga na memória do seu Mac: em 4 bits, cerca de 0,56 GB por bilhão de parâmetros, ou seja, cerca de 4,5 GB para um modelo 8B e 39 GB para um 70B, mais espaço para o contexto. O Compare no mlx.app confere isso para o seu Mac.

MLX ou GGUF no Mac?

Os dois rodam bem no Apple Silicon. As versões MLX são feitas para o MLX da Apple e rodam no mlx-lm, no LM Studio e no MLX Harness; os arquivos GGUF rodam no llama.cpp, no Ollama e no LM Studio.

Preciso de uma conta no Hugging Face?

Não para modelos públicos. Modelos com acesso restrito exigem uma conta gratuita, uma licença aceita e um token de acesso.

Posso rodar os modelos baixados offline?

Sim. Quando os arquivos estão no seu Mac, o modelo roda sem conexão com a internet e os seus prompts ficam no Mac.