Een LLM op je Mac.

1Wat er op je Mac past

De gewichten van een model moeten in het geheugen passen, met ruimte over voor de context en macOS. Bij 4 bits per gewicht reken je op zo'n 0,55 tot 0,6 GB per miljard parameters.

Snelheid is een aparte vraag: voor elke nieuwe token moeten de actieve gewichten één keer uit het geheugen worden gelezen, dus het aantal tokens per seconde schaalt met de geheugenbandbreedte. Onze gids over de beste Mac voor lokale LLM's behandelt elke chip.

2De makkelijke manier: LM Studio

LM Studio is een gratis Mac-app met een chatvenster en een modelbrowser. Op Apple Silicon draait hij modellen in het MLX-formaat van Apple en in het GGUF-formaat van llama.cpp.

1. Download LM Studio en open hem.
2. Zoek een model, kies op Apple Silicon bij voorkeur een MLX-versie, en neem een grootte die in je geheugen past.
3. Laad het model en begin te chatten. Je kunt ook de lokale server aanzetten voor andere apps.

3Eén commando: Ollama

Ollama draait modellen vanuit de terminal en stelt ze beschikbaar aan andere apps op je Mac. Na de installatie downloadt en start één commando een model:

ollama run llama3.2

Sinds versie 0.19 heeft Ollama op Apple Silicon een preview die voor ondersteunde modellen op het MLX-framework van Apple draait, met flinke snelheidswinst; de preview vraagt om een Mac met meer dan 32 GB geheugen (Ollama).

4De snelste manier: MLX van Apple en mlx-lm

MLX is het opensource-framework voor machine learning van Apple voor Apple Silicon, en mlx-lm is het pakket voor taalmodellen. Duizenden modellen staan klaar in de organisatie mlx-community op Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Gebruik mlx_lm.chat voor een gesprek in de terminal en mlx_lm.server voor een lokale API die andere apps kunnen aanroepen. Op M5-chips gebruikt MLX de nieuwe neural accelerators in de GPU: Apple mat dat de eerste token 3,3 tot 4,1 keer sneller verschijnt dan op M4 (Apple Machine Learning Research).

5Meet hem, en zet hem dan aan het werk

MLX Bench is een open ranglijst van de snelheid van MLX op elke Apple Silicon-chip: tokens per seconde voor generatie en prompt, en piekgeheugen. Draai het script van één bestand op je Mac en zie waar hij uitkomt.

Als je je Mac niet gebruikt, kan hij AI draaien voor anderen. MLX Node is een gratis app die AI-taken voor MLX Network uitvoert op hetzelfde MLX-framework en MLX-tokens verdient voor geverifieerd werk, binnen de limieten die jij instelt.

6Vragen

Kan een MacBook Air een LLM draaien?

Ja. Een MacBook Air met 16 GB draait modellen van 7B tot 14B in 4-bit zonder moeite; met 32 GB modellen tot ongeveer 30B. Hij is wel trager dan een Mac met een Pro- of Max-chip, die meer geheugenbandbreedte heeft.

Is MLX sneller dan Ollama op een Mac?

Vaak wel, omdat MLX voor Apple Silicon is geschreven. De eigen preview van Ollama op basis van MLX meldt flinke snelheidswinst op Apple Silicon. Onze gids MLX vs Ollama vergelijkt ze in detail.

Werken lokale modellen offline?

Ja. Eenmaal gedownload draait het model volledig op je Mac en verlaten je prompts hem nooit.

Hoeveel geheugen heb ik nodig voor een 70B-model?

Zo'n 40 GB voor de gewichten in 4-bit, dus een Mac met 64 GB of meer. Mixture-of-expertsmodellen van vergelijkbare kwaliteit hebben soms meer geheugen nodig, maar draaien sneller.