1De specificaties die tellen voor AI
| Geïntegreerd geheugen | 64 GB |
|---|---|
| Geheugenbandbreedte | 273 GB/s |
| Zit in | Mac mini (2024), 14- and 16-inch MacBook Pro (2024) |
| Vaste plek ervoor | Pro-plek: delft tot 80 MLX per dag |
2Welke modellen passen
Bij 4 bits per gewicht heeft een model iets meer dan een halve gigabyte per miljard parameters nodig, plus ruimte voor de context en macOS. Met 64 GB biedt de M4 Pro ruim plaats aan modellen tot ongeveer 85 miljard parameters.
| Model in 4-bit | Benodigd geheugen | Past op de M4 Pro |
|---|---|---|
| 8B-model | 4,5 GB | Ja |
| 14B-model | 7,9 GB | Ja |
| 32B-model | 18 GB | Ja |
| 70B-model | 39,4 GB | Ja |
| gpt-oss-120b, mixture-of-experts | 65 GB | Nee |
| Qwen3.5-397B-A17B, mixture-of-experts | 223,3 GB | Nee |
| DeepSeek-V4.1-Flash, mixture-of-experts | 316 GB | Nee |
3Hoe snel hij is
Tekst schrijven wordt begrensd door de geheugenbandbreedte: elke nieuwe token leest de actieve gewichten van het model één keer. Deel de 273 GB/s van de M4 Pro door het aantal bytes dat per token wordt gelezen en je krijgt het plafond hieronder. In de praktijk haal je meestal zo'n 45% tot 80% daarvan (llama.cpp-benchmarks).
| Model in 4-bit | Gelezen per token | Plafond voor één chat |
|---|---|---|
| 8B-model | 4,5 GB | 61 tokens/s |
| 14B-model | 7,9 GB | 35 tokens/s |
| 32B-model | 18 GB | 15 tokens/s |
| 70B-model | 39,4 GB | 7 tokens/s |
5Vergelijk met andere chips
6Vragen
- Kan de M4 Pro een 70B-model draaien?
- Ja. Een 70B-model in 4-bit heeft ongeveer 40 GB nodig, en de M4 Pro heeft tot 64 GB. Reken op een plafond van ongeveer 7 tokens per seconde voor één chat.
- Hoeveel tokens per seconde haalt de M4 Pro?
- Voor een 8B-model in 4-bit ligt het plafond rond 61 tokens per seconde, en in de praktijk haal je ongeveer de helft tot vier vijfde daarvan. Grotere modellen zijn naar verhouding trager.
- Is de M4 Pro goed voor AI?
- Voor lokale modellen tellen geheugen en bandbreedte het zwaarst. De M4 Pro heeft tot 64 GB met 273 GB/s, genoeg voor modellen tot ongeveer 85 miljard parameters. Met MLX Node kan hij ook verdienen door AI-werk uit te voeren voor MLX Network.
Bronnen
- Apple: M4 Pro and M4 Maxapple.com
- Apple: Mac mini (2024) specssupport.apple.com