1Les caractéristiques qui comptent pour l’IA
| Mémoire unifiée | 512 GB |
|---|---|
| Bande passante mémoire | 1,2 TB/s |
| Présente dans | Mac Studio (2026) |
| Place dédiée adaptée | Place Ultra Latest : mine jusqu’à 480 MLX par jour |
2Quels modèles tiennent
À 4 bits par poids, un modèle a besoin d’un peu plus d’un demi-gigaoctet par milliard de paramètres, plus de la place pour son contexte et pour macOS. Avec 512 GB, la puce M5 Ultra accueille sans peine des modèles jusqu’à environ 682 milliards de paramètres.
| Modèle en 4 bits | Mémoire nécessaire | Tient sur la puce M5 Ultra |
|---|---|---|
| Modèle 8B | 4,5 GB | Oui |
| Modèle 14B | 7,9 GB | Oui |
| Modèle 32B | 18 GB | Oui |
| Modèle 70B | 39,4 GB | Oui |
| gpt-oss-120b, mixture-of-experts | 65 GB | Oui |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Oui |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Oui |
3Quelle vitesse attendre
La génération de texte est limitée par la bande passante mémoire : chaque nouveau token lit une fois les poids actifs du modèle. En divisant les 1,2 TB/s de la puce M5 Ultra par les octets lus par token, on obtient le plafond ci-dessous. En pratique, on atteint généralement 45 % à 80 % de ce plafond (benchmarks llama.cpp).
| Modèle en 4 bits | Lu par token | Plafond pour une conversation |
|---|---|---|
| Modèle 8B | 4,5 GB | 267 tokens/s |
| Modèle 14B | 7,9 GB | 152 tokens/s |
| Modèle 32B | 18 GB | 67 tokens/s |
| Modèle 70B | 39,4 GB | 30 tokens/s |
| gpt-oss-120b, mixture-of-experts | 2,7 GB | 444 tokens/s |
| Qwen3.5-397B-A17B, mixture-of-experts | 9,6 GB | 125 tokens/s |
| DeepSeek-V4.1-Flash, mixture-of-experts | 9 GB | 133 tokens/s |
Mesuré : sur M5 Ultra (80-core GPU), llama.cpp génère 179 tokens par seconde avec Llama-2-7B (Q4_0) dans ses benchmarks publics.
Les puces de la génération M5 ajoutent des accélérateurs neuronaux au GPU et lisent donc les prompts plusieurs fois plus vite que les M4 : Apple a mesuré un premier token 3,3 à 4,1 fois plus rapide avec MLX (Apple).
5Comparer avec d’autres puces
6Questions
- La puce M5 Ultra peut-elle faire tourner un modèle 70B ?
- Oui. Un modèle 70B en 4 bits nécessite environ 40 GB, et la puce M5 Ultra offre jusqu’à 512 GB. Comptez un plafond d’environ 30 tokens par seconde pour une conversation.
- Combien de tokens par seconde avec la puce M5 Ultra ?
- Pour un modèle 8B en 4 bits, le plafond est d’environ 267 tokens par seconde, et en pratique on en atteint entre la moitié et les quatre cinquièmes. Les modèles plus gros sont proportionnellement plus lents.
- La puce M5 Ultra est-elle bonne pour l’IA ?
- Pour faire tourner des modèles en local, ce sont la mémoire et la bande passante qui comptent le plus. La puce M5 Ultra offre jusqu’à 512 GB à 1,2 TB/s, assez pour des modèles jusqu’à environ 682 milliards de paramètres. Elle peut aussi rapporter en exécutant des tâches d’IA pour MLX Network avec MLX Node.
Sources
- Apple: M6 and M5 Ultraapple.com
- llama.cpp: Apple Silicon benchmarksgithub.com