Ejecuta un LLM en tu Mac.

1Qué cabe en tu Mac

Los pesos de un modelo tienen que caber en memoria con margen para el contexto y para macOS. A 4 bits por peso, calcula entre 0,55 y 0,6 GB por cada mil millones de parámetros.

La velocidad es otra cuestión: cada token nuevo requiere leer una vez de la memoria los pesos activos, así que los tokens por segundo escalan con el ancho de banda de memoria. Nuestra guía sobre la mejor Mac para LLM en local cubre todos los chips.

2La forma fácil: LM Studio

LM Studio es una app gratuita para Mac con ventana de chat y buscador de modelos. En Apple Silicon puede ejecutar modelos en el formato MLX de Apple y también en el formato GGUF que usa llama.cpp.

1. Descarga LM Studio y ábrelo.
2. Busca un modelo, elige preferiblemente una versión MLX si tienes Apple Silicon y escoge un tamaño que quepa en tu memoria.
3. Cárgalo y empieza a chatear. También puedes activar su servidor local para otras apps.

3Un solo comando: Ollama

Ollama ejecuta modelos desde la terminal y los sirve a otras apps de tu Mac. Una vez instalado, un solo comando descarga e inicia un modelo:

ollama run llama3.2

Desde la versión 0.19, Ollama en Apple Silicon tiene una versión preliminar basada en el framework MLX de Apple para los modelos compatibles, con grandes mejoras de velocidad; esa versión preliminar requiere una Mac con más de 32 GB de memoria (Ollama).

4La forma más rápida: MLX de Apple y mlx-lm

MLX es el framework de aprendizaje automático de código abierto de Apple para Apple Silicon, y mlx-lm es su paquete para modelos de lenguaje. Miles de modelos están listos para usar en la organización mlx-community de Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Usa mlx_lm.chat para conversar en la terminal y mlx_lm.server para una API local a la que otras apps puedan llamar. En los chips M5, MLX usa los nuevos aceleradores neuronales de la GPU: Apple midió que el primer token llega entre 3,3 y 4,1 veces antes que en el M4 (Apple Machine Learning Research).

5Mídelo y ponlo a trabajar

MLX Bench es una clasificación abierta de la velocidad de MLX en cada chip de Apple Silicon: tokens por segundo de generación y de prompt, y memoria máxima. Ejecuta el script de un solo archivo en tu Mac y mira en qué puesto queda.

Cuando no la estés usando, tu Mac puede ejecutar IA para otros. MLX Node es una app gratuita que ejecuta trabajos de IA para MLX Network con el mismo framework MLX y gana tokens MLX por el trabajo verificado, dentro de los límites que fijas.

6Preguntas

¿Puede una MacBook Air ejecutar un LLM?

Sí. Una MacBook Air con 16 GB ejecuta con soltura modelos de 7B a 14B a 4 bits; con 32 GB, modelos de hasta unos 30B. Será más lenta que una Mac con chip Pro o Max, que tiene más ancho de banda de memoria.

¿MLX es más rápido que Ollama en una Mac?

A menudo sí, porque MLX está escrito para Apple Silicon. La propia versión preliminar de Ollama basada en MLX reporta grandes mejoras de velocidad en Apple Silicon. Nuestra guía MLX vs Ollama los compara en detalle.

¿Los modelos locales funcionan sin conexión?

Sí. Una vez descargado, el modelo se ejecuta por completo en tu Mac y tus prompts nunca salen de ella.

¿Cuánta memoria necesito para un modelo de 70B?

Unos 40 GB para los pesos a 4 bits, así que una Mac con 64 GB o más. Los modelos de mezcla de expertos de calidad similar pueden necesitar más memoria, pero funcionan más rápido.