Download en draai LLM's op je Mac.

1Waar je modellen vindt

Hugging Face host de meeste open-weight modellen. Hetzelfde model komt meestal in meerdere builds, en het formaat bepaalt welke app het kan draaien:

Twijfel je welke runtime je moet gebruiken? MLX vs Ollama vs llama.cpp vergelijkt ze. Nieuw in dit alles? Begin met een LLM draaien op een Mac.

2Kies een grootte die in je geheugen past

De gewichten van een model moeten met ruimte over in het geheugen passen. MLX slaat een gekwantiseerd gewicht op als zijn bits plus een gedeelde schaal en bias per groep van 64 gewichten, ongeveer een halve bit extra per gewicht (MLX). Daardoor kost 4 bit ongeveer 0,56 GB per miljard parameters en 8 bit ongeveer 1,06 GB.

macOS laat de GPU standaard maar een deel van het unified memory gebruiken; Compare gaat uit van ongeveer driekwart, en de README van mlx-lm laat zien hoe je de limiet verhoogt op macOS 15 of nieuwer met sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Bij mixture-of-experts-modellen bepaalt het totale aantal parameters het geheugen en het aantal actieve parameters de snelheid. Compare maakt deze rekensom voor elk populair model en elke Apple-chip, en de beste Mac voor lokale LLM's legt uit waarom bandbreedte de snelheid bepaalt.

3Kwantisatie: 4 bit, 8 bit en de rest

Kwantisatie slaat elk gewicht op in minder bits, zodat het model minder geheugen gebruikt en sneller draait, ten koste van wat kwaliteit. 4 bit is het gebruikelijke startpunt op een Mac. 8 bit ligt dichter bij het origineel en is twee keer zo groot. Onder 4 bit worden bestanden klein, maar gaan antwoorden sneller achteruit, dus probeer die alleen als een groter model anders niet past.

• MLX-builds zeggen het in de naam: -4bit, -8bit, en soms builds met gemengde precisie die gevoelige lagen meer bits geven.
• GGUF-bestanden gebruiken de namen van llama.cpp: Q4_K_M, Q5_K_M, Q8_0 enzovoort. Draai je een GGUF-repository van Hugging Face in Ollama zonder er een te noemen, dan kiest Ollama Q4_K_M als die er is (Hugging Face).
• Maak je eigen MLX-build van originele gewichten: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q schrijft een 4-bit kopie (mlx-lm).

4Schijfruimte en waar modellen staan

Een download is ongeveer zo groot als de gewichten in de tabel hierboven, dus een 4-bit 8B-model is een paar gigabyte en een 70B-model tientallen gigabytes. Meerdere groottes of builds van hetzelfde model proberen loopt snel op.

mlx-lm en andere Hugging Face-tools bewaren downloads in ~/.cache/huggingface/hub; stel HF_HOME of HF_HUB_CACHE in om dat te verplaatsen. hf cache ls laat zien wat er staat en hf cache rm verwijdert een model (Hugging Face). Ollama en LM Studio bewaren modellen in hun eigen mappen en beheren ze zelf.

5Afgeschermde modellen en Hugging Face-tokens

Sommige modellen, waaronder Llama, zijn afgeschermd (gated): je moet de voorwaarden van de maker accepteren voordat je ze kunt downloaden (Hugging Face).

1. Log in op een gratis Hugging Face-account en open de pagina van het model.
2. Accepteer de voorwaarden met de knop op de pagina (standaard Agree and send request to access repo). Sommige makers keuren verzoeken handmatig goed, wat langer duurt.
3. Maak een toegangstoken aan in je Hugging Face-instellingen.
4. Geef het token aan je tools: voer hf auth login uit in Terminal voor mlx-lm en andere Hugging Face-tools (Hugging Face), of plak het in het Hugging Face-tokenveld van de app.

6Draai het: vier manieren

mlx-lm: Apple's MLX in Terminal

Installeer het met pip en noem dan een willekeurig MLX-model op Hugging Face; de eerste keer wordt het gedownload (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server biedt een model aan via een OpenAI-achtige API op localhost:8080 voor andere apps (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: een app met een modelbrowser

LM Studio zoekt en downloadt modellen van Hugging Face in de app zelf en draait op Apple Silicon zowel MLX-modellen als GGUF via llama.cpp. Het vraagt Apple Silicon en macOS 14 of nieuwer, en raadt 16 GB geheugen of meer aan (LM Studio).

Ollama: één commando

Ollama draait modellen uit zijn eigen bibliotheek, en elke GGUF-repository op Hugging Face direct, eventueel met een kwantisatietag (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: onze gratis app

MLX Harness is onze gratis Mac-app, gebouwd op vMLX: hij zoekt MLX-modellen op Hugging Face, chat, draait tools en beeldmodellen en biedt alles aan via een lokale API. Zijn gateway gebruikt ook poort 8080, dus draai hem niet tegelijk met mlx_lm.server op dezelfde poort. Als je de Mac niet gebruikt, kan MLX Node hem in plaats daarvan uitlenen aan MLX Network.

7Vragen

Waar download ik LLM's voor een Mac?

Van Hugging Face. Zoek naar MLX-builds, veel ervan gepubliceerd door mlx-community, of GGUF-bestanden. LM Studio en Ollama kunnen voor je zoeken en downloaden.

Welke modelgrootte moet ik downloaden?

Een waarvan de gewichten ruim in het geheugen van je Mac passen: in 4 bit ongeveer 0,56 GB per miljard parameters, dus ongeveer 4,5 GB voor een 8B-model en 39 GB voor 70B, plus ruimte voor context. Compare op mlx.app controleert het voor jouw Mac.

MLX of GGUF op een Mac?

Beide draaien goed op Apple Silicon. MLX-builds zijn gemaakt voor Apple's MLX en draaien in mlx-lm, LM Studio en MLX Harness; GGUF-bestanden draaien in llama.cpp, Ollama en LM Studio.

Heb ik een Hugging Face-account nodig?

Niet voor openbare modellen. Afgeschermde modellen vragen een gratis account, een geaccepteerde licentie en een toegangstoken.

Kan ik gedownloade modellen offline draaien?

Ja. Zodra de bestanden op je Mac staan, draait het model zonder internetverbinding en blijven je prompts op de Mac.