Mémoire à chaque précision
| Version | Poids | Avec contexte | Plus petit Mac |
|---|---|---|---|
| 8 bits | 293 GB | 317 GB | 512 GB |
| 6 bits | 224 GB | 242 GB | 512 GB |
| 4 bits | 155 GB | 168 GB | 256 GB |
| 3 bits qualité moindre | 121 GB | 131 GB | 192 GB |
| 2 bits qualité moindre | 86,3 GB | 93,2 GB | 128 GB |
Sur chaque puce Apple
Pour chaque puce, la plus petite capacité de mémoire qui fait tourner Inkling Small, la meilleure version qui y tient et la vitesse d’écriture à attendre.
| Puce | Demande | Version | Tokens/s |
|---|---|---|---|
| M6 | aucune capacité ne suffit | Trop grand | – |
| M5 Ultra | 256 GB | 4 bits Tourne bien | 79–141 |
| M5 Max | 128 GB | 2 bits Tourne bien | 73–129 |
| M5 Pro | aucune capacité ne suffit | Trop grand | – |
| M5 | aucune capacité ne suffit | Trop grand | – |
| M4 Max | 128 GB | 2 bits Tourne bien | 65–115 |
| M4 Pro | aucune capacité ne suffit | Trop grand | – |
| M4 | aucune capacité ne suffit | Trop grand | – |
| M3 Ultra | 256 GB | 4 bits Tourne bien | 54–96 |
| M3 Max | 128 GB | 2 bits Tourne bien | 47–84 |
| M3 Pro | aucune capacité ne suffit | Trop grand | – |
| M3 | aucune capacité ne suffit | Trop grand | – |
| M2 Ultra | 128 GB | 2 bits Tourne bien | 95–168 |
| M2 Max | aucune capacité ne suffit | Trop grand | – |
| M2 Pro | aucune capacité ne suffit | Trop grand | – |
| M2 | aucune capacité ne suffit | Trop grand | – |
| M1 Ultra | 128 GB | 2 bits Tourne bien | 95–168 |
| M1 Max | aucune capacité ne suffit | Trop grand | – |
| M1 Pro | aucune capacité ne suffit | Trop grand | – |
| M1 | aucune capacité ne suffit | Trop grand | – |
Comment le faire tourner
- Le plus simple : téléchargez MLX Harness, gratuit et open source. Cherchez Inkling Small, téléchargez la version adaptée à votre Mac, et discutez. MLX Harness met aussi le modèle à disposition de vos autres apps via une API compatible OpenAI.Télécharger MLX HarnessGratuit · Apple Silicon · macOS 14.5 ou version ultérieure
- Dans le Terminal avec MLX d’Apple :
pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-Small-mlx-4bitVersion MLX : mlx-community/Inkling-Small-mlx-4bit sur Hugging Face. Les autres précisions sont juste à côté.
Pas à pas : télécharger et exécuter des LLM sur Mac · utiliser MLX Harness · MLX, Ollama ou llama.cpp
À propos de Inkling Small
| Créé par | Thinking Machines Lab |
|---|---|
| Paramètres | 276B au total · 12B actifs (mixture-of-experts) |
| Licence | Apache-2.0 |
| Sortie | 2026-07 |
| Entrée | Texte et images |
| Intelligence | 25,7 sur l’Artificial Analysis Intelligence Index |
| Poids | thinkingmachines/Inkling-Small |
Questions
- De combien de mémoire Inkling Small a-t-il besoin ?
- Environ 155 GB de poids en 4 bits, plus de la place pour le contexte : 168 GB au total. Sur un Mac, il faut donc 256 GB de mémoire unifiée ou plus, car macOS laisse le GPU en utiliser environ 75 % par défaut.
- À quelle vitesse Inkling Small tourne-t-il sur un Mac ?
- La vitesse d’écriture dépend de la bande passante mémoire. Ici, le Mac le plus rapide pour ce modèle est équipé d’une puce M5 Ultra avec 256 GB, à environ 79–141 tokens par seconde (4 bits). Le plus petit Mac qui le fait tourner, avec 256 GB, atteint environ 79–141 avec une puce M5 Ultra.
- Pourquoi Inkling Small est-il plus rapide que sa taille ne le laisse penser ?
- C’est un modèle mixture-of-experts : il garde 276B paramètres en mémoire mais n’en lit que 12B pour chaque token, il écrit donc à la vitesse d’un modèle bien plus petit.
Modèles similaires
Pour votre fiche de modèle ou votre README
Affiche le plus petit Mac qui fait bien tourner Inkling Small et renvoie vers cette page.
[](https://mlx.app/run/inkling-small)Comment c’est calculé
Mémoire : les paramètres du modèle à 8, 6, 4, 3 ou 2 bits par poids, plus les facteurs d’échelle par groupe de MLX (un demi-bit par poids), ou son format natif, avec en plus de la place pour le contexte. Par défaut, macOS laisse le GPU utiliser environ 75 % de la mémoire unifiée. Vitesse : la bande passante mémoire divisée par les octets lus pour chaque token donne le plafond pour une conversation ; dans les benchmarks Apple Silicon publics de llama.cpp, les exécutions réelles atteignent environ 45 % à 80 % de ce plafond, et c’est la fourchette affichée. Ce sont des estimations, pas des mesures : mesurez votre propre Mac sur MLX Bench. Chiffres des modèles tirés de chaque fiche officielle, chiffres des puces tirés des caractéristiques techniques d’Apple. Vérifié le 2026-10-19. Mêmes données que mlx.app/compare.