L’essentiel
- Poids : paramètres × bits par poids ÷ 8. Avec le format 4 bits de MLX, cela fait environ 0,56 GB par milliard de paramètres ; en 8 bits environ 1,06 GB, en 16 bits 2 GB.
- Un modèle de 8B demande donc environ 4,5 GB en 4 bits, un modèle de 32B environ 18 GB et un modèle de 70B environ 39 GB, avant le contexte.
- Le contexte (KV cache) s’ajoute et grandit à chaque token : pour Qwen3 8B, un contexte de 32 000 tokens occupe environ 4,8 GB, plus que ses poids en 4 bits.
- Sur un Mac, le GPU peut utiliser par défaut environ 75 % de la mémoire unifiée : un Mac de 16 GB dispose donc d’environ 12 GB pour un modèle. Sur un PC, le modèle doit tenir dans la VRAM de la carte graphique pour tourner à pleine vitesse.
1La règle : paramètres × bits
Un modèle, ce sont surtout ses poids : un nombre par paramètre. Stocké sur 16 bits, chacun occupe 2 octets, donc un modèle demande 2 GB par milliard de paramètres. La quantification stocke chaque poids sur moins de bits, ce qui réduit le modèle presque en proportion ; en 4 bits, la plupart des modèles restent proches de leur qualité d’origine.
Les formats quantifiés stockent aussi un peu d’information en plus pour reconstruire les poids. Par défaut, MLX d’Apple garde une échelle et un biais pour chaque groupe de 64 poids, dans le type 16 bits du modèle (MLX), ce qui ajoute un demi-bit par poids. On obtient ces tailles :
| Précision | Bits par poids | GB par milliard de paramètres |
|---|---|---|
| 16 bits (d’origine) | 16 | 2,0 |
| 8 bits | 8,5 | environ 1,06 |
| 6 bits | 6,5 | environ 0,81 |
| 4 bits | 4,5 | environ 0,56 |
| 3 bits | 3,5 | environ 0,44 |
| 2 bits | 2,5 | environ 0,31 |
Sous 4 bits, la qualité baisse plus vite. Un bon choix par défaut : la précision la plus élevée qui tient avec de la marge.
2La mémoire selon la taille du modèle
| Taille du modèle | 16 bits | 8 bits | 4 bits | 3 bits |
|---|---|---|---|---|
| 1B | 2 GB | 1,1 GB | 0,6 GB | 0,4 GB |
| 3B | 6 GB | 3,2 GB | 1,7 GB | 1,3 GB |
| 8B | 16 GB | 8,5 GB | 4,5 GB | 3,5 GB |
| 14B | 28 GB | 14,9 GB | 7,9 GB | 6,1 GB |
| 32B | 64 GB | 34 GB | 18 GB | 14 GB |
| 70B | 140 GB | 74,4 GB | 39,4 GB | 30,6 GB |
| 120B | 240 GB | 127,5 GB | 67,5 GB | 52,5 GB |
| 235B | 470 GB | 249,7 GB | 132,2 GB | 102,8 GB |
| 405B | 810 GB | 430,3 GB | 227,8 GB | 177,2 GB |
| 671B | 1 342 GB | 712,9 GB | 377,4 GB | 293,6 GB |
Certains modèles sont livrés dans une faible précision qui leur est propre. gpt-oss-120b d’OpenAI compte 117 milliards de paramètres et garde les poids de ses experts dans un format 4 bits, MXFP4 : il tient ainsi sur un seul GPU de 80 GB (OpenAI). Pour un modèle précis, ouvrez sa page : chaque modèle ouvert et le Mac qu’il demande, par exemple gpt-oss-120b ou Llama 3.3 70B.
3Le contexte prend aussi de la mémoire
Pendant qu’un modèle lit et écrit, il garde une clé et une valeur pour chaque token de la conversation dans chaque couche : c’est le KV cache. Sa taille vaut 2 × couches × têtes KV × taille de tête × octets par valeur × tokens.
Qwen3 8B, par exemple, a 36 couches, 8 têtes KV et une taille de tête de 128, stockées en 16 bits (config). Cela fait 147 456 octets par token :
| Contexte | KV cache de Qwen3 8B (16 bits) |
|---|---|
| 8 192 tokens | environ 1,2 GB |
| 32 768 tokens | environ 4,8 GB |
| 40 960 tokens (son contexte complet) | environ 6,0 GB |
Les modèles à attention à requêtes groupées (grouped-query attention), comme celui-ci, gardent moins de têtes KV que de têtes d’attention (8 contre 32), ce qui divise déjà le cache par quatre. Vous pouvez gagner davantage en quantifiant le cache : le serveur de mlx-lm accepte --kv-bits 4 (mlx-lm). Pour discuter, quelques milliers de tokens de contexte suffisent largement ; pour les agents, les longs documents ou le code, prévoyez plusieurs gigaoctets.
4Quelle taille de modèle tient sur un Mac
La mémoire d’un Mac est partagée par le CPU et le GPU, et macOS ne laisse par défaut le GPU en utiliser qu’une partie. Notre page Compare compte environ 75 % ; le README de mlx-lm montre comment relever la limite sous macOS 15 ou plus récent avec sudo sysctl iogpu.wired_limit_mb=N (mlx-lm), mais macOS et vos autres apps ont toujours besoin de place.
| Mémoire du Mac | Pour le GPU (environ 75 %) | Plus gros modèle en 4 bits | Plus gros en 8 bits |
|---|---|---|---|
| 8 GB | 6 GB | environ 10B | environ 5B |
| 16 GB | 12 GB | environ 21B | environ 11B |
| 24 GB | 18 GB | environ 32B | environ 16B |
| 32 GB | 24 GB | environ 42B | environ 22B |
| 36 GB | 27 GB | environ 48B | environ 25B |
| 48 GB | 36 GB | environ 64B | environ 33B |
| 64 GB | 48 GB | environ 85B | environ 45B |
| 96 GB | 72 GB | environ 128B | environ 67B |
| 128 GB | 96 GB | environ 170B | environ 90B |
| 256 GB | 192 GB | environ 341B | environ 180B |
| 512 GB | 384 GB | environ 682B | environ 361B |
La mémoire décide de ce qui tient ; la bande passante mémoire, de la vitesse d’écriture. Le meilleur Mac pour les LLM en local explique cette seconde moitié, et tous les Mac, classés réunit les deux.
5RAM, VRAM et mémoire unifiée
Sur un PC avec carte graphique, un modèle ne tourne à pleine vitesse que s’il tient dans la mémoire propre de la carte, sa VRAM : 32 GB sur une RTX 5090 (NVIDIA). Les couches qui ne tiennent pas peuvent tourner depuis la RAM du PC, mais cette mémoire est bien plus lente à lire, et le modèle ralentit beaucoup.
Un Mac n’a pas de VRAM séparée : le GPU lit la même mémoire unifiée que le CPU, ce qui explique qu’un Mac de 64 GB ou 128 GB puisse contenir des modèles qu’aucune carte graphique grand public ne peut accueillir seule. Quelques PC fonctionnent désormais de la même façon, comme le DGX Spark de NVIDIA et les machines AMD Ryzen AI Max avec 128 GB partagés entre CPU et GPU : voir M5 Max vs DGX Spark et M5 Max vs RTX 5090.
6Les modèles à mélange d’experts
Un modèle à mélange d’experts (MoE) garde tous ses paramètres en mémoire mais n’en utilise que quelques-uns pour chaque token. La mémoire suit le total ; la vitesse suit la partie active. gpt-oss-20b compte 21 milliards de paramètres dont 3,6 milliards actifs (OpenAI) : il demande autant de mémoire qu’un modèle de 21B et écrit à peu près aussi vite qu’un modèle de 4B.
Les modèles à mélange d’experts conviennent donc bien aux Mac, qui ont plus de mémoire que de bande passante par rapport aux cartes graphiques. Compare affiche les deux chiffres pour chaque modèle populaire.
7Questions
- Combien de RAM faut-il pour faire tourner un modèle de 70B ?
- Environ 39 GB pour les poids en 4 bits, plus le contexte : en pratique un Mac de 64 GB ou plus, ou plusieurs cartes graphiques. En 8 bits, il demande environ 74 GB, donc 128 GB.
- 16 GB de RAM suffisent-ils pour faire tourner un LLM ?
- Oui, pour des modèles jusqu’à environ 14B paramètres en 4 bits : un Mac de 16 GB donne par défaut environ 12 GB au GPU. Les modèles de 8B tournent confortablement, avec de la place pour le contexte. Voir les meilleurs LLM pour un Mac de 16 GB.
- Combien de VRAM demande un modèle de 8B ?
- Environ 4,5 GB en 4 bits, 8,5 GB en 8 bits et 16 GB en 16 bits, plus environ 1,2 GB pour un contexte de 8 000 tokens dans le cas de Qwen3 8B.
- La longueur du contexte utilise-t-elle de la mémoire ?
- Oui. Le KV cache grandit à chaque token de la conversation. Pour Qwen3 8B, il représente environ 147 KB par token en 16 bits : environ 4,8 GB à 32 000 tokens.
- Puis-je faire tourner un modèle plus gros que ma RAM ?
- Pas utilement. Si les poids ne tiennent pas, le système passe en swap ou lit une mémoire plus lente, et la génération devient extrêmement lente. Prenez une précision plus faible, un modèle plus petit ou un modèle à mélange d’experts, ou répartissez-le sur plusieurs machines : voir les clusters IA de Mac.