La puce M3 Ultra peut-elle faire tourner un modèle 70B ?

Oui. Un modèle 70B en 4 bits nécessite environ 40 GB, et la puce M3 Ultra offre jusqu’à 512 GB. Comptez un plafond d’environ 21 tokens par seconde pour une conversation.

Combien de tokens par seconde avec la puce M3 Ultra ?

Pour un modèle 8B en 4 bits, le plafond est d’environ 182 tokens par seconde, et en pratique on en atteint entre la moitié et les quatre cinquièmes. Les modèles plus gros sont proportionnellement plus lents.

La puce M3 Ultra est-elle bonne pour l’IA ?

Pour faire tourner des modèles en local, ce sont la mémoire et la bande passante qui comptent le plus. La puce M3 Ultra offre jusqu’à 512 GB à 819 GB/s, assez pour des modèles jusqu’à environ 682 milliards de paramètres. Elle peut aussi rapporter en exécutant des tâches d’IA pour MLX Network avec MLX Node.

M3 Ultra pour LLM en local : mémoire, vitesse et modèles

1Les caractéristiques qui comptent pour l’IA

Mémoire unifiée	512 GB
Bande passante mémoire	819 GB/s
Présente dans	Mac Studio (2025)
Place dédiée adaptée	Place Ultra : mine jusqu’à 320 MLX par jour

2Quels modèles tiennent

À 4 bits par poids, un modèle a besoin d’un peu plus d’un demi-gigaoctet par milliard de paramètres, plus de la place pour son contexte et pour macOS. Avec 512 GB, la puce M3 Ultra accueille sans peine des modèles jusqu’à environ 682 milliards de paramètres.

Modèle en 4 bits	Mémoire nécessaire	Tient sur la puce M3 Ultra
Modèle 8B	4,5 GB	Oui
Modèle 14B	7,9 GB	Oui
Modèle 32B	18 GB	Oui
Modèle 70B	39,4 GB	Oui
gpt-oss-120b, mixture-of-experts	65 GB	Oui
Qwen3.5-397B-A17B, mixture-of-experts	223,3 GB	Oui
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	Oui

3Quelle vitesse attendre

La génération de texte est limitée par la bande passante mémoire : chaque nouveau token lit une fois les poids actifs du modèle. En divisant les 819 GB/s de la puce M3 Ultra par les octets lus par token, on obtient le plafond ci-dessous. En pratique, on atteint généralement 45 % à 80 % de ce plafond (benchmarks llama.cpp).

Modèle en 4 bits	Lu par token	Plafond pour une conversation
Modèle 8B	4,5 GB	182 tokens/s
Modèle 14B	7,9 GB	104 tokens/s
Modèle 32B	18 GB	46 tokens/s
Modèle 70B	39,4 GB	21 tokens/s
gpt-oss-120b, mixture-of-experts	2,7 GB	303 tokens/s
Qwen3.5-397B-A17B, mixture-of-experts	9,6 GB	85 tokens/s
DeepSeek-V4.1-Flash, mixture-of-experts	9 GB	91 tokens/s

Mesuré : sur M3 Ultra (80-core GPU), llama.cpp génère 92 tokens par seconde avec Llama-2-7B (Q4_0) dans ses benchmarks publics.

5Comparer avec d’autres puces

6Questions

La puce M3 Ultra peut-elle faire tourner un modèle 70B ?: Oui. Un modèle 70B en 4 bits nécessite environ 40 GB, et la puce M3 Ultra offre jusqu’à 512 GB. Comptez un plafond d’environ 21 tokens par seconde pour une conversation.
Combien de tokens par seconde avec la puce M3 Ultra ?: Pour un modèle 8B en 4 bits, le plafond est d’environ 182 tokens par seconde, et en pratique on en atteint entre la moitié et les quatre cinquièmes. Les modèles plus gros sont proportionnellement plus lents.
La puce M3 Ultra est-elle bonne pour l’IA ?: Pour faire tourner des modèles en local, ce sont la mémoire et la bande passante qui comptent le plus. La puce M3 Ultra offre jusqu’à 512 GB à 819 GB/s, assez pour des modèles jusqu’à environ 682 milliards de paramètres. Elle peut aussi rapporter en exécutant des tâches d’IA pour MLX Network avec MLX Node.

Sources

Apple: Mac Studio (2025) specssupport.apple.com
llama.cpp: Apple Silicon benchmarksgithub.com