Comment savoir si un LLM tournera sur mon Mac ?

Comparez la taille du modèle à la précision voulue avec la mémoire unifiée de votre Mac. Par défaut, macOS laisse le GPU en utiliser environ 75 %, et le modèle a aussi besoin de place pour son contexte. Un modèle en 4 bits demande un peu plus d’un demi-gigaoctet par milliard de paramètres.

Combien de tokens par seconde vais-je obtenir ?

L’écriture est limitée par la bande passante mémoire : chaque token lit une fois les poids actifs du modèle. La bande passante divisée par les octets lus par token est le plafond pour une conversation ; en pratique on atteint généralement 45 % à 80 % de ce plafond.

Pourquoi les modèles à mélange d’experts (MoE) sont-ils plus rapides ?

Ils gardent de nombreux experts en mémoire mais n’en utilisent que quelques-uns pour chaque token, qui lit donc beaucoup moins d’octets. Il leur faut la mémoire du modèle entier, mais ils tournent à la vitesse d’un modèle bien plus petit.

Le 4 bits suffit-il ?

Pour la plupart des modèles, le 4 bits garde une qualité proche de l’original. En dessous, la qualité baisse plus vite : c’est pourquoi les versions de moins de 4 bits sont signalées.

Que peut faire tourner votre Mac ?

Choisissez votre Mac, ou n’importe quelle autre machine, et voyez quels modèles d’IA ouverts tiennent dans sa mémoire et à quelle vitesse elle les fait tourner. Calculé à partir de la fiche de chaque modèle et de la mémoire et de la bande passante publiées pour chaque puce.

Votre machine

Apple M5 avec 16 GB : environ 12 GB pour les modèles par défaut, 153 GB/s de bande passante mémoire. 20 des 43 modèles populaires tournent dessus. Sa page Mesuré : 32 tokens/s avec Llama 2 7B en 4 bits dans llama.cpp (M5 (10-core GPU)).

Tourne bien Tient avec de la place pour le contexte, à 10 tokens par seconde ou plus.

Gemma 4 E4BGoogle DeepMind · 2026-03 · contexte 128K · imagesIntelligence 8,9Fiche du modèle Version MLX8B8 bits8,5 GB Tient14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · contexte 256K · imagesFiche du modèle Version MLX4B8 bits4,3 GB Tient16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · contexte 128KFiche du modèle Version MLX3,21B8 bits3,4 GB Tient20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · contexte 64KFiche du modèle Version MLX3B8 bits3,2 GB Tient22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · contexte 256K · imagesFiche du modèle Version MLX0,8B8 bits0,9 GB Tient77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · contexte 256KIntelligence 12,9Fiche du modèle Version MLX30B · 3B actifs2 bits qualité moindre9,4 GB Tient77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · contexte 128KIntelligence 9Fiche du modèle Version MLX21B · 3,6B actifs3 bits qualité moindre9,2 GB Tient43–77 tok/s

Publié dans un format natif à faible nombre de bits : environ 14 GB de poids.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · contexte 256KFiche du modèle Version MLX30,5B · 3,3B actifs2 bits qualité moindre9,5 GB Tient69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · contexte 198KFiche du modèle Version MLX30B · 3B actifs2 bits qualité moindre9,4 GB Tient77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · contexte 256K · imagesFiche du modèle Version MLX25,2B · 3,8B actifs2 bits qualité moindre7,9 GB Tient57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · contexte 128KFiche du modèle Version MLX24B · 2B actifs3 bits qualité moindre10,5 GB Tient77–136 tok/s

Tourne, mais lentement Tient, mais sous 10 tokens par seconde : bien pour les traitements par lots, lent pour discuter.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · contexte 256K · imagesIntelligence 11,2Fiche du modèle Version MLX9B8 bits9,6 GB Tient7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · contexte 128KIntelligence 11,1Fiche du modèle8B8 bits8,5 GB Tient8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · contexte 16KFiche du modèle Version MLX14B4 bits7,9 GB Tient9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · contexte 256K · imagesFiche du modèle Version MLX12B6 bits9,7 GB Tient7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · contexte 128KFiche du modèle Version MLX8B8 bits8,5 GB Tient8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · contexte 256K · imagesIntelligence 33,7Fiche du modèle Version MLX27B2 bits qualité moindre8,4 GB Tient8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · contexte 128K · imagesIntelligence 17,5Fiche du modèle Version MLX29,6B2 bits qualité moindre9,3 GB Tient7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · contexte 256K · imagesIntelligence 14,7Fiche du modèle Version MLX30,7B2 bits qualité moindre9,6 GB Tient7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · contexte 256K · imagesFiche du modèle Version MLX24B3 bits qualité moindre10,5 GB Tient7–12 tok/s

Tient tout juste Occupe presque toute la mémoire : relevez la limite de mémoire du GPU et gardez un contexte court.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · contexte 256K · imagesIntelligence 18,2Fiche du modèle Version MLX35B · 3B actifs2 bits qualité moindre10,9 GB Tout juste77–136 tok/s

Intelligence : Artificial Analysis Intelligence Index v4.3.2, quand il est mesuré. Les noms des modèles renvoient à leurs fiches officielles.

Comment c’est calculé

Mémoire. Chaque modèle est affiché à la plus haute précision qui tient : 8, 6, 4, 3 ou 2 bits par poids, plus les facteurs d’échelle par groupe de MLX (un demi-bit par poids), ou son format natif s’il est publié ainsi. Sur un Mac, le GPU peut utiliser environ 75 % de la mémoire unifiée par défaut ; nous gardons en plus de la place pour le contexte.

Vitesse. Pour écrire, chaque token lit une fois tous les poids actifs : la bande passante mémoire divisée par ces octets est donc le plafond pour une conversation. Dans les benchmarks publics Apple Silicon de llama.cpp, les exécutions réelles atteignent environ 45 % à 80 % de ce plafond, c’est la fourchette affichée. La lecture d’un long prompt dépend plutôt de la puissance de calcul et n’est pas affichée.

Sources. Paramètres, contexte et licences viennent de la fiche officielle de chaque modèle sur Hugging Face (liée depuis son nom) ; mémoire et bande passante, des spécifications d’Apple et des fabricants. Vérifié le 2026-10-19. Mesurez votre propre Mac avec MLX Bench. Tous les Mac, tous les modèles et le tableau de compatibilité complet sont téléchargeables gratuitement en JSON et CSV : données ouvertes.

Parcourir. Tous les Mac, d’un M1 de 8 Go à un M5 Ultra de 512 Go, avec chaque modèle qu’ils font tourner, et tous les modèles avec le plus petit Mac dont ils ont besoin.

Les lancer. Pas à pas : télécharger et lancer des LLM sur un Mac, MLX, Ollama ou llama.cpp et le meilleur Mac pour les LLM en local. Quand votre Mac ne fait rien, il peut gagner des MLX Tokens.

Comment savoir si un LLM tournera sur mon Mac ?: Comparez la taille du modèle à la précision voulue avec la mémoire unifiée de votre Mac. Par défaut, macOS laisse le GPU en utiliser environ 75 %, et le modèle a aussi besoin de place pour son contexte. Un modèle en 4 bits demande un peu plus d’un demi-gigaoctet par milliard de paramètres.
Combien de tokens par seconde vais-je obtenir ?: L’écriture est limitée par la bande passante mémoire : chaque token lit une fois les poids actifs du modèle. La bande passante divisée par les octets lus par token est le plafond pour une conversation ; en pratique on atteint généralement 45 % à 80 % de ce plafond.
Pourquoi les modèles à mélange d’experts (MoE) sont-ils plus rapides ?: Ils gardent de nombreux experts en mémoire mais n’en utilisent que quelques-uns pour chaque token, qui lit donc beaucoup moins d’octets. Il leur faut la mémoire du modèle entier, mais ils tournent à la vitesse d’un modèle bien plus petit.
Le 4 bits suffit-il ?: Pour la plupart des modèles, le 4 bits garde une qualité proche de l’original. En dessous, la qualité baisse plus vite : c’est pourquoi les versions de moins de 4 bits sont signalées.