Descarga y ejecuta LLM en tu Mac.

1Dónde encontrar modelos

Hugging Face aloja la mayoría de los modelos de pesos abiertos. El mismo modelo suele venir en varias versiones, y el formato decide qué app puede ejecutarlo:

¿No sabes qué entorno usar? MLX vs Ollama vs llama.cpp los compara. ¿Eres nuevo en todo esto? Empieza por ejecutar un LLM en una Mac.

2Elige un tamaño que quepa en tu memoria

Los pesos de un modelo tienen que caber en memoria con margen. MLX guarda cada peso cuantizado con sus bits más una escala y un sesgo compartidos por cada grupo de 64 pesos, cerca de medio bit más por peso (MLX). Así, 4 bits cuestan unos 0,56 GB por cada mil millones de parámetros y 8 bits, unos 1,06 GB.

De forma predeterminada, macOS solo deja que la GPU use parte de la memoria unificada; Compare supone unas tres cuartas partes, y el README de mlx-lm explica cómo subir el límite en macOS 15 o posterior con sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). En los modelos de mezcla de expertos, los parámetros totales deciden la memoria y los activos, la velocidad. Compare hace estas cuentas para cada modelo popular y cada chip de Apple, y la mejor Mac para LLM en local explica por qué el ancho de banda marca la velocidad.

3Cuantización: 4 bits, 8 bits y el resto

La cuantización guarda cada peso con menos bits, así que el modelo ocupa menos memoria y va más rápido, a costa de algo de calidad. En una Mac, 4 bits es el punto de partida habitual. 8 bits se acerca más al original y ocupa el doble. Por debajo de 4 bits los archivos son pequeños, pero las respuestas empeoran antes, así que pruébalos solo cuando un modelo más grande no cabría de otro modo.

• Las versiones MLX lo dicen en el nombre: -4bit, -8bit y, a veces, versiones de precisión mixta que mantienen las capas sensibles con más bits.
• Los archivos GGUF usan los nombres de llama.cpp: Q4_K_M, Q5_K_M, Q8_0, etc. Cuando ejecutas en Ollama un repositorio GGUF de Hugging Face sin indicar ninguno, elige Q4_K_M si existe (Hugging Face).
• Crea tu propia versión MLX a partir de los pesos originales: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q escribe una copia de 4 bits (mlx-lm).

4Espacio en disco y dónde se guardan los modelos

Una descarga ocupa más o menos lo mismo que los pesos de la tabla anterior, así que un modelo 8B de 4 bits son unos pocos gigabytes y un modelo 70B, decenas de gigabytes. Probar varios tamaños o versiones del mismo modelo suma rápido.

mlx-lm y otras herramientas de Hugging Face guardan las descargas en ~/.cache/huggingface/hub; define HF_HOME o HF_HUB_CACHE para moverlas. hf cache ls muestra lo que hay y hf cache rm borra un modelo (Hugging Face). Ollama y LM Studio guardan los modelos en sus propias carpetas y los gestionan ellos mismos.

5Modelos con acceso restringido y tokens de Hugging Face

Algunos modelos, entre ellos Llama, tienen acceso restringido: tienes que aceptar las condiciones del creador antes de poder descargarlos (Hugging Face).

1. Inicia sesión en una cuenta gratuita de Hugging Face y abre la página del modelo.
2. Acepta las condiciones con el botón de la página (de forma predeterminada Agree and send request to access repo). Algunos creadores aprueban las solicitudes a mano, y eso tarda más.
3. Crea un token de acceso en los ajustes de Hugging Face.
4. Dale el token a tus herramientas: ejecuta hf auth login en Terminal para mlx-lm y otras herramientas de Hugging Face (Hugging Face), o pégalo en el campo de token de Hugging Face de la app.

6Ejecútalo: cuatro formas

mlx-lm: MLX de Apple en Terminal

Instálalo con pip y luego indica cualquier modelo MLX de Hugging Face; la primera ejecución lo descarga (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server sirve un modelo en una API tipo OpenAI en localhost:8080 para otras apps (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: una app con buscador de modelos

LM Studio busca y descarga modelos de Hugging Face dentro de la app y ejecuta modelos MLX en Apple Silicon, además de GGUF mediante llama.cpp. Necesita Apple Silicon y macOS 14 o posterior, y recomienda 16 GB de memoria o más (LM Studio).

Ollama: un solo comando

Ollama ejecuta modelos de su propia biblioteca y cualquier repositorio GGUF de Hugging Face directamente, opcionalmente con una etiqueta de cuantización (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: nuestra app gratuita

MLX Harness es nuestra app gratuita para Mac, basada en vMLX: busca modelos MLX en Hugging Face, chatea, ejecuta herramientas y modelos de imagen, y lo sirve todo en una API local. Su gateway también usa el puerto 8080, así que no lo ejecutes junto a mlx_lm.server en el mismo puerto. Cuando no estés usando la Mac, MLX Node puede prestarla a MLX Network.

7Preguntas

¿Dónde descargo LLM para Mac?

En Hugging Face. Busca versiones MLX, muchas publicadas por mlx-community, o archivos GGUF. LM Studio y Ollama pueden buscarlos y descargarlos por ti.

¿Qué tamaño de modelo debo descargar?

Uno cuyos pesos quepan con holgura en la memoria de tu Mac: a 4 bits, unos 0,56 GB por cada mil millones de parámetros, es decir, unos 4,5 GB para un modelo 8B y 39 GB para uno 70B, más espacio para el contexto. Compare en mlx.app lo comprueba para tu Mac.

¿MLX o GGUF en una Mac?

Los dos funcionan bien en Apple Silicon. Las versiones MLX están hechas para MLX de Apple y funcionan en mlx-lm, LM Studio y MLX Harness; los archivos GGUF funcionan en llama.cpp, Ollama y LM Studio.

¿Necesito una cuenta de Hugging Face?

No para los modelos públicos. Los modelos con acceso restringido necesitan una cuenta gratuita, una licencia aceptada y un token de acceso.

¿Puedo ejecutar sin conexión los modelos descargados?

Sí. Una vez que los archivos están en tu Mac, el modelo funciona sin conexión a internet y tus prompts se quedan en la Mac.