Un Mac peut-il faire tourner Llama 3.3 70B Instruct ?

Oui, avec 64 GB de mémoire unifiée ou plus. Llama 3.3 70B Instruct compte 70B paramètres ; voici la mémoire nécessaire à chaque précision et la vitesse à laquelle chaque puce Apple le fait tourner.

Mémoire en 4 bits42,6 GBpoids 39,4 GB + contexte
Plus petit Mac64 GB4 bits · 39 configurations de Mac
Mac le plus rapide14–24tokens/s · M5 Ultra 96 GB (estimation)

Mémoire à chaque précision

VersionPoidsAvec contextePlus petit Mac
8 bits74,4 GB80,4 GB128 GB
6 bits56,9 GB61,5 GB96 GB
4 bits39,4 GB42,6 GB64 GB
3 bits qualité moindre30,6 GB33 GB48 GB
2 bits qualité moindre21,9 GB23,7 GB32 GB

Sur chaque puce Apple

Pour chaque puce, la plus petite capacité de mémoire qui fait tourner Llama 3.3 70B Instruct, la meilleure version qui y tient et la vitesse d’écriture à attendre.

PuceDemandeVersionTokens/s
M632 GB2 bits Lent3–6
M5 Ultra96 GB4 bits Tourne bien14–24
M5 Max64 GB4 bits Lent7–12
M5 Pro64 GB4 bits Lent4–6
M532 GB2 bits Lent3–6
M4 Max64 GB4 bits Lent6–11
M4 Pro64 GB4 bits Lent3–6
M432 GB2 bits Lent2–4
M3 Ultra96 GB6 bits Lent6–12
M3 Max64 GB4 bits Lent5–8
M3 Pro36 GB2 bits Lent3–5
M3aucune capacité ne suffitTrop grand–
M2 Ultra64 GB4 bits Lent9–16
M2 Max64 GB4 bits Lent5–8
M2 Pro32 GB2 bits Lent4–7
M2aucune capacité ne suffitTrop grand–
M1 Ultra64 GB4 bits Lent9–16
M1 Max64 GB4 bits Lent5–8
M1 Pro32 GB2 bits Lent4–7
M1aucune capacité ne suffitTrop grand–

Comment le faire tourner

  1. Le plus simple : téléchargez MLX Harness, gratuit et open source. Cherchez Llama 3.3 70B Instruct, téléchargez la version adaptée à votre Mac, et discutez. MLX Harness met aussi le modèle à disposition de vos autres apps via une API compatible OpenAI.Télécharger MLX HarnessGratuit · Apple Silicon · macOS 14.5 ou version ultérieure
  2. Dans le Terminal avec MLX d’Apple :pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.3-70B-Instruct-4bitVersion MLX : mlx-community/Llama-3.3-70B-Instruct-4bit sur Hugging Face. Les autres précisions sont juste à côté.

Pas à pas : télécharger et exécuter des LLM sur Mac · utiliser MLX Harness · MLX, Ollama ou llama.cpp

À propos de Llama 3.3 70B Instruct

Créé parMeta
Paramètres70B (modèle dense)
Contexte128K tokens
LicenceLlama 3.3 Community License
Sortie2024-12
EntréeTexte
Poidsmeta-llama/Llama-3.3-70B-Instruct

Questions

De combien de mémoire Llama 3.3 70B Instruct a-t-il besoin ?
Environ 39,4 GB de poids en 4 bits, plus de la place pour le contexte : 42,6 GB au total. Sur un Mac, il faut donc 64 GB de mémoire unifiée ou plus, car macOS laisse le GPU en utiliser environ 75 % par défaut.
À quelle vitesse Llama 3.3 70B Instruct tourne-t-il sur un Mac ?
La vitesse d’écriture dépend de la bande passante mémoire. Ici, le Mac le plus rapide pour ce modèle est équipé d’une puce M5 Ultra avec 96 GB, à environ 14–24 tokens par seconde (4 bits). Le plus petit Mac qui le fait tourner, avec 64 GB, atteint environ 9–16 avec une puce M2 Ultra.
La quantification dégrade-t-elle Llama 3.3 70B Instruct ?
En 4 bits, la plupart des modèles restent proches de la qualité d’origine ; en dessous de 4 bits, la qualité baisse plus vite. Choisissez la précision la plus élevée qui tient dans votre Mac avec de la marge.

Modèles similaires

Tous les modèles · Tous les Mac · Comparer votre Mac

Pour votre fiche de modèle ou votre README

Runs on a Mac: Llama 3.3 70B Instruct Affiche le plus petit Mac qui fait bien tourner Llama 3.3 70B Instruct et renvoie vers cette page.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.3-70b.svg)](https://mlx.app/run/llama-3.3-70b)

Comment c’est calculé

Mémoire : les paramètres du modèle à 8, 6, 4, 3 ou 2 bits par poids, plus les facteurs d’échelle par groupe de MLX (un demi-bit par poids), ou son format natif, avec en plus de la place pour le contexte. Par défaut, macOS laisse le GPU utiliser environ 75 % de la mémoire unifiée. Vitesse : la bande passante mémoire divisée par les octets lus pour chaque token donne le plafond pour une conversation ; dans les benchmarks Apple Silicon publics de llama.cpp, les exécutions réelles atteignent environ 45 % à 80 % de ce plafond, et c’est la fourchette affichée. Ce sont des estimations, pas des mesures : mesurez votre propre Mac sur MLX Bench. Chiffres des modèles tirés de chaque fiche officielle, chiffres des puces tirés des caractéristiques techniques d’Apple. Vérifié le 2026-10-19. Mêmes données que mlx.app/compare.

Llama 3.3 70B Instruct tourne-t-il sur Mac ? RAM et vitesse