Un Mac peut-il faire tourner Llama 3.2 1B Instruct ?

Oui, avec 8 GB de mémoire unifiée ou plus. Llama 3.2 1B Instruct compte 1,23B paramètres ; voici la mémoire nécessaire à chaque précision et la vitesse à laquelle chaque puce Apple le fait tourner.

Mémoire en 4 bits2,2 GBpoids 0,7 GB + contexte
Plus petit Mac8 GB8 bits · 58 configurations de Mac
Mac le plus rapide415–738tokens/s · M5 Ultra 96 GB (estimation)

Mémoire à chaque précision

VersionPoidsAvec contextePlus petit Mac
8 bits1,3 GB2,8 GB8 GB
6 bits1 GB2,5 GB8 GB
4 bits0,7 GB2,2 GB8 GB
3 bits qualité moindre0,5 GB2 GB8 GB
2 bits qualité moindre0,4 GB1,9 GB8 GB

Sur chaque puce Apple

Pour chaque puce, la plus petite capacité de mémoire qui fait tourner Llama 3.2 1B Instruct, la meilleure version qui y tient et la vitesse d’écriture à attendre.

PuceDemandeVersionTokens/s
M616 GB8 bits Tourne bien53–94
M5 Ultra96 GB8 bits Tourne bien415–738
M5 Max36 GB8 bits Tourne bien159–283
M5 Pro24 GB8 bits Tourne bien106–189
M516 GB8 bits Tourne bien53–94
M4 Max36 GB8 bits Tourne bien142–252
M4 Pro24 GB8 bits Tourne bien95–168
M416 GB8 bits Tourne bien42–74
M3 Ultra96 GB8 bits Tourne bien284–504
M3 Max36 GB8 bits Tourne bien104–185
M3 Pro18 GB8 bits Tourne bien52–92
M38 GB8 bits Tourne bien35–62
M2 Ultra64 GB8 bits Tourne bien277–492
M2 Max32 GB8 bits Tourne bien138–246
M2 Pro16 GB8 bits Tourne bien69–123
M28 GB8 bits Tourne bien35–62
M1 Ultra64 GB8 bits Tourne bien277–492
M1 Max32 GB8 bits Tourne bien138–246
M1 Pro16 GB8 bits Tourne bien69–123
M18 GB8 bits Tourne bien24–42

Comment le faire tourner

  1. Le plus simple : téléchargez MLX Harness, gratuit et open source. Cherchez Llama 3.2 1B Instruct, téléchargez la version adaptée à votre Mac, et discutez. MLX Harness met aussi le modèle à disposition de vos autres apps via une API compatible OpenAI.Télécharger MLX HarnessGratuit · Apple Silicon · macOS 14.5 ou version ultérieure
  2. Dans le Terminal avec MLX d’Apple :pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-1B-Instruct-4bitVersion MLX : mlx-community/Llama-3.2-1B-Instruct-4bit sur Hugging Face. Les autres précisions sont juste à côté.

Pas à pas : télécharger et exécuter des LLM sur Mac · utiliser MLX Harness · MLX, Ollama ou llama.cpp

À propos de Llama 3.2 1B Instruct

Créé parMeta
Paramètres1,23B (modèle dense)
Contexte128K tokens
LicenceLlama 3.2 Community License
Sortie2024-09
EntréeTexte
Poidsmeta-llama/Llama-3.2-1B-Instruct

Questions

De combien de mémoire Llama 3.2 1B Instruct a-t-il besoin ?
Environ 0,7 GB de poids en 4 bits, plus de la place pour le contexte : 2,2 GB au total. Sur un Mac, il faut donc 8 GB de mémoire unifiée ou plus, car macOS laisse le GPU en utiliser environ 75 % par défaut.
À quelle vitesse Llama 3.2 1B Instruct tourne-t-il sur un Mac ?
La vitesse d’écriture dépend de la bande passante mémoire. Ici, le Mac le plus rapide pour ce modèle est équipé d’une puce M5 Ultra avec 96 GB, à environ 415–738 tokens par seconde (8 bits). Le plus petit Mac qui le fait tourner, avec 8 GB, atteint environ 35–62 avec une puce M3.
La quantification dégrade-t-elle Llama 3.2 1B Instruct ?
En 4 bits, la plupart des modèles restent proches de la qualité d’origine ; en dessous de 4 bits, la qualité baisse plus vite. Choisissez la précision la plus élevée qui tient dans votre Mac avec de la marge.

Modèles similaires

Tous les modèles · Tous les Mac · Comparer votre Mac

Pour votre fiche de modèle ou votre README

Runs on a Mac: Llama 3.2 1B Instruct Affiche le plus petit Mac qui fait bien tourner Llama 3.2 1B Instruct et renvoie vers cette page.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.2-1b.svg)](https://mlx.app/run/llama-3.2-1b)

Comment c’est calculé

Mémoire : les paramètres du modèle à 8, 6, 4, 3 ou 2 bits par poids, plus les facteurs d’échelle par groupe de MLX (un demi-bit par poids), ou son format natif, avec en plus de la place pour le contexte. Par défaut, macOS laisse le GPU utiliser environ 75 % de la mémoire unifiée. Vitesse : la bande passante mémoire divisée par les octets lus pour chaque token donne le plafond pour une conversation ; dans les benchmarks Apple Silicon publics de llama.cpp, les exécutions réelles atteignent environ 45 % à 80 % de ce plafond, et c’est la fourchette affichée. Ce sont des estimations, pas des mesures : mesurez votre propre Mac sur MLX Bench. Chiffres des modèles tirés de chaque fiche officielle, chiffres des puces tirés des caractéristiques techniques d’Apple. Vérifié le 2026-10-19. Mêmes données que mlx.app/compare.

Llama 3.2 1B Instruct tourne-t-il sur Mac ? RAM et vitesse