De M5 voor lokale AI.

1De specificaties die tellen voor AI

2Welke modellen passen

Bij 4 bits per gewicht heeft een model iets meer dan een halve gigabyte per miljard parameters nodig, plus ruimte voor de context en macOS. Met 32 GB biedt de M5 ruim plaats aan modellen tot ongeveer 42 miljard parameters.

3Hoe snel hij is

Tekst schrijven wordt begrensd door de geheugenbandbreedte: elke nieuwe token leest de actieve gewichten van het model één keer. Deel de 153 GB/s van de M5 door het aantal bytes dat per token wordt gelezen en je krijgt het plafond hieronder. In de praktijk haal je meestal zo'n 45% tot 80% daarvan (llama.cpp-benchmarks).

Gemeten: op de M5 (10-core GPU) genereert llama.cpp in zijn openbare benchmarks 32 tokens per seconde met Llama-2-7B (Q4_0).

Chips van de M5-generatie hebben neural accelerators in de GPU en lezen prompts daardoor meerdere keren sneller dan M4: Apple mat dat de eerste token met MLX 3,3 tot 4,1 keer eerder verschijnt (Apple).

5Vergelijk met andere chips

• M5 · 16 GB
• M5 · 24 GB
• M5 · 32 GB
• M4 vs M5
• M5 vs M5 Pro
• M5 vs M6

• M4: 32 GB, 120 GB/s
• M6: 32 GB, 170 GB/s
• M5 Pro: 64 GB, 307 GB/s
• De beste Mac voor lokale LLM's.

6Vragen

Kan de M5 een 70B-model draaien?

Niet ruim. Een 70B-model in 4-bit heeft ongeveer 40 GB nodig, en de M5 heeft maximaal 32 GB. Modellen tot ongeveer 42 miljard parameters passen goed.

Hoeveel tokens per seconde haalt de M5?

Voor een 8B-model in 4-bit ligt het plafond rond 34 tokens per seconde, en in de praktijk haal je ongeveer de helft tot vier vijfde daarvan. Grotere modellen zijn naar verhouding trager.

Is de M5 goed voor AI?

Voor lokale modellen tellen geheugen en bandbreedte het zwaarst. De M5 heeft tot 32 GB met 153 GB/s, genoeg voor modellen tot ongeveer 42 miljard parameters. Met MLX Node kan hij ook verdienen door AI-werk uit te voeren voor MLX Network.