O M1 roda um modelo de 70B?

Não com folga. Um modelo de 70B em 4 bits precisa de cerca de 40 GB, e o M1 tem no máximo 16 GB. Modelos de até cerca de 21 bilhões de parâmetros cabem bem.

Quantos tokens por segundo o M1 alcança?

Para um modelo de 8B em 4 bits, o teto é de cerca de 15 tokens por segundo, e na prática se chega a algo entre metade e quatro quintos disso. Modelos maiores são proporcionalmente mais lentos.

Para rodar modelos localmente, memória e largura de banda são o que mais importa. O M1 tem até 16 GB a 68 GB/s, o suficiente para modelos de até cerca de 21 bilhões de parâmetros. Ele também pode ganhar executando trabalho de IA para a MLX Network com o MLX Node.

M1 para LLMs locais: memória, velocidade e o que cabe

1As especificações que importam para IA

Memória unificada	16 GB
Largura de banda da memória	68 GB/s
Presente em	MacBook Air (2020), 13-inch MacBook Pro (2020), Mac mini (2020), iMac (2021)
Vaga dedicada para ele	Vaga Core: minera até 20 MLX por dia

2Quais modelos cabem

Com 4 bits por peso, um modelo precisa de pouco mais de meio gigabyte por bilhão de parâmetros, mais espaço para o contexto e para o macOS. Com 16 GB, o M1 comporta com folga modelos de até cerca de 21 bilhões de parâmetros.

Modelo em 4 bits	Memória necessária	Cabe no M1
Modelo de 8B	4,5 GB	Sim
Modelo de 14B	7,9 GB	Sim
Modelo de 32B	18 GB	Não
Modelo de 70B	39,4 GB	Não
gpt-oss-120b, mixture-of-experts	65 GB	Não
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	Não
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Não

3Qual a velocidade

Gerar texto é limitado pela largura de banda da memória: cada novo token lê uma vez os pesos ativos do modelo. Dividindo os 68 GB/s do M1 pelos bytes lidos por token, chega-se ao teto abaixo. Na prática, costuma-se atingir de 45% a 80% dele (benchmarks do llama.cpp).

Modelo em 4 bits	Lido por token	Teto para um chat
Modelo de 8B	4,5 GB	15 tokens/s
Modelo de 14B	7,9 GB	9 tokens/s

5Compare com outros chips

6Perguntas

O M1 roda um modelo de 70B?: Não com folga. Um modelo de 70B em 4 bits precisa de cerca de 40 GB, e o M1 tem no máximo 16 GB. Modelos de até cerca de 21 bilhões de parâmetros cabem bem.
Quantos tokens por segundo o M1 alcança?: Para um modelo de 8B em 4 bits, o teto é de cerca de 15 tokens por segundo, e na prática se chega a algo entre metade e quatro quintos disso. Modelos maiores são proporcionalmente mais lentos.
O M1 é bom para IA?: Para rodar modelos localmente, memória e largura de banda são o que mais importa. O M1 tem até 16 GB a 68 GB/s, o suficiente para modelos de até cerca de 21 bilhões de parâmetros. Ele também pode ganhar executando trabalho de IA para a MLX Network com o MLX Node.

Fontes

Apple: M1apple.com
llama.cpp: Apple Silicon benchmarksgithub.com