¿Cuánta memoria necesita Llama 3.2 3B Instruct?

Unos 1,8 GB de pesos a 4 bits, más espacio para el contexto: 3,3 GB en total. En una Mac, eso significa 8 GB de memoria unificada o más, porque macOS deja que la GPU use alrededor del 75 % de forma predeterminada.

¿Qué tan rápido va Llama 3.2 3B Instruct en una Mac?

La velocidad de escritura depende del ancho de banda de memoria. Aquí, la Mac más rápida para este modelo es una con M5 Ultra y 96 GB, a unos 159–282 tokens por segundo (8 bits). La Mac más pequeña que lo ejecuta, con 8 GB, logra unos 13–24 con un M3.

¿La cuantización empeora Llama 3.2 3B Instruct?

A 4 bits, la mayoría de los modelos se mantienen cerca de la calidad original; por debajo de 4 bits, la calidad cae más rápido. Elige la precisión más alta que quepa en tu Mac con margen.

¿Puede una Mac ejecutar Llama 3.2 3B Instruct? RAM, velocidad

Memoria en cada precisión

Versión	Pesos	Con contexto	Mac más pequeña
8 bits	3,4 GB	4,9 GB	8 GB
6 bits	2,6 GB	4,1 GB	8 GB
4 bits	1,8 GB	3,3 GB	8 GB
3 bits menor calidad	1,4 GB	2,9 GB	8 GB
2 bits menor calidad	1 GB	2,5 GB	8 GB

En cada chip de Apple

El tamaño de memoria más pequeño de cada chip que ejecuta Llama 3.2 3B Instruct, la mejor versión que cabe y la velocidad de escritura que puedes esperar.

Chip	Necesita	Versión	Tokens/s
M6	16 GB	8 bits Va bien	20–36
M5 Ultra	96 GB	8 bits Va bien	159–282
M5 Max	36 GB	8 bits Va bien	61–108
M5 Pro	24 GB	8 bits Va bien	41–72
M5	16 GB	8 bits Va bien	20–36
M4 Max	36 GB	8 bits Va bien	54–96
M4 Pro	24 GB	8 bits Va bien	36–64
M4	16 GB	8 bits Va bien	16–28
M3 Ultra	96 GB	8 bits Va bien	108–193
M3 Max	36 GB	8 bits Va bien	40–71
M3 Pro	18 GB	8 bits Va bien	20–35
M3	8 GB	8 bits Va bien	13–24
M2 Ultra	64 GB	8 bits Va bien	106–188
M2 Max	32 GB	8 bits Va bien	53–94
M2 Pro	16 GB	8 bits Va bien	26–47
M2	8 GB	8 bits Va bien	13–24
M1 Ultra	64 GB	8 bits Va bien	106–188
M1 Max	32 GB	8 bits Va bien	53–94
M1 Pro	16 GB	8 bits Va bien	26–47
M1	8 GB	6 bits Va bien	12–21

Cómo ejecutarlo

La forma fácil: descarga MLX Harness, gratis y de código abierto. Busca Llama 3.2 3B Instruct, descarga la versión que encaja con tu Mac y empieza a chatear. MLX Harness también ofrece el modelo a tus otras apps mediante una API compatible con OpenAI.Descarga MLX HarnessGratis · Apple Silicon · macOS 14.5 o posterior
En Terminal, con MLX de Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bitVersión MLX: mlx-community/Llama-3.2-3B-Instruct-4bit en Hugging Face. Las demás precisiones están justo al lado.

Paso a paso: descargar y ejecutar LLM en tu Mac · cómo usar MLX Harness · MLX vs Ollama vs llama.cpp

Sobre Llama 3.2 3B Instruct

Creado por	Meta
Parámetros	3,21B (denso)
Contexto	128K tokens
Licencia	Llama 3.2 Community License
Lanzamiento	2024-09
Entrada	Texto
Pesos	meta-llama/Llama-3.2-3B-Instruct

Preguntas

¿Cuánta memoria necesita Llama 3.2 3B Instruct?: Unos 1,8 GB de pesos a 4 bits, más espacio para el contexto: 3,3 GB en total. En una Mac, eso significa 8 GB de memoria unificada o más, porque macOS deja que la GPU use alrededor del 75 % de forma predeterminada.
¿Qué tan rápido va Llama 3.2 3B Instruct en una Mac?: La velocidad de escritura depende del ancho de banda de memoria. Aquí, la Mac más rápida para este modelo es una con M5 Ultra y 96 GB, a unos 159–282 tokens por segundo (8 bits). La Mac más pequeña que lo ejecuta, con 8 GB, logra unos 13–24 con un M3.
¿La cuantización empeora Llama 3.2 3B Instruct?: A 4 bits, la mayoría de los modelos se mantienen cerca de la calidad original; por debajo de 4 bits, la calidad cae más rápido. Elige la precisión más alta que quepa en tu Mac con margen.

Modelos similares

Todos los modelos · Todas las Mac · Compara tu Mac

Para la ficha de tu modelo o tu README

Muestra la Mac más pequeña que ejecuta bien Llama 3.2 3B Instruct y enlaza a esta página.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.2-3b.svg)](https://mlx.app/run/llama-3.2-3b)

Cómo se calcula

Memoria: los parámetros del modelo a 8, 6, 4, 3 o 2 bits por peso más las escalas por grupo de MLX (medio bit por peso), o su formato nativo, con espacio extra para el contexto. De forma predeterminada, macOS deja que la GPU use alrededor del 75 % de la memoria unificada. Velocidad: el ancho de banda de memoria dividido entre los bytes leídos por token es el techo para una conversación; en los benchmarks públicos de Apple Silicon de llama.cpp, las ejecuciones reales alcanzan entre el 45 % y el 80 % de ese techo, que es el rango que se muestra. Son estimaciones, no mediciones: mide tu propia Mac en MLX Bench. Datos de los modelos tomados de cada ficha oficial; datos de los chips, de las especificaciones técnicas de Apple. Revisado el 2026-10-19. Los mismos datos que mlx.app/compare.