Télécharger et exécuter des LLM sur votre Mac.

1Où trouver des modèles

Hugging Face héberge la plupart des modèles à poids ouverts. Un même modèle existe généralement en plusieurs versions, et le format détermine quelle app peut l’exécuter :

Vous ne savez pas quel moteur choisir ? MLX vs Ollama vs llama.cpp les compare. Vous débutez ? Commencez par exécuter un LLM sur un Mac.

2Choisir une taille adaptée à votre mémoire

Les poids d’un modèle doivent tenir en mémoire avec de la marge. MLX stocke chaque poids quantifié sous forme de ses bits plus une échelle et un biais partagés pour chaque groupe de 64 poids, soit environ un demi-bit de plus par poids (MLX). En 4 bits, il faut donc compter environ 0,56 GB par milliard de paramètres, et environ 1,06 GB en 8 bits.

Par défaut, macOS ne laisse le GPU utiliser qu’une partie de la mémoire unifiée ; Compare part sur environ les trois quarts, et le README de mlx-lm explique comment relever la limite sous macOS 15 ou ultérieur avec sudo sysctl iogpu.wired_limit_mb=N (mlx-lm). Pour les modèles à mélange d’experts, le nombre total de paramètres détermine la mémoire et les paramètres actifs la vitesse. Compare fait ce calcul pour chaque modèle populaire et chaque puce Apple, et le meilleur Mac pour les LLM en local explique pourquoi la bande passante fixe la vitesse.

3Quantification : 4 bits, 8 bits et le reste

La quantification stocke chaque poids sur moins de bits : le modèle prend moins de mémoire et tourne plus vite, au prix d’un peu de qualité. Sur Mac, 4 bits est le point de départ habituel. 8 bits reste plus proche de l’original et pèse deux fois plus. En dessous de 4 bits, les fichiers deviennent petits mais les réponses se dégradent plus vite : ne les essayez que si un modèle plus gros ne tiendrait pas autrement.

• Les versions MLX l’indiquent dans leur nom : -4bit, -8bit, et parfois des versions à précision mixte qui gardent les couches sensibles sur plus de bits.
• Les fichiers GGUF utilisent les noms de llama.cpp : Q4_K_M, Q5_K_M, Q8_0, etc. Quand vous lancez dans Ollama un dépôt GGUF de Hugging Face sans en préciser un, il prend Q4_K_M s’il existe (Hugging Face).
• Créez votre propre version MLX à partir des poids d’origine : mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q écrit une copie en 4 bits (mlx-lm).

4Espace disque et emplacement des modèles

Un téléchargement pèse à peu près la taille des poids du tableau ci-dessus : un modèle 8B en 4 bits fait quelques gigaoctets, un modèle 70B des dizaines de gigaoctets. Essayer plusieurs tailles ou versions du même modèle s’additionne vite.

mlx-lm et les autres outils Hugging Face rangent les téléchargements dans ~/.cache/huggingface/hub ; définissez HF_HOME ou HF_HUB_CACHE pour les déplacer. hf cache ls affiche ce qui s’y trouve et hf cache rm supprime un modèle (Hugging Face). Ollama et LM Studio gardent les modèles dans leurs propres dossiers et les gèrent eux-mêmes.

5Modèles à accès restreint et tokens Hugging Face

Certains modèles, dont Llama, sont à accès restreint : vous devez accepter les conditions de l’éditeur avant de pouvoir les télécharger (Hugging Face).

1. Connectez-vous à un compte Hugging Face gratuit et ouvrez la page du modèle.
2. Acceptez les conditions avec le bouton de la page (par défaut Agree and send request to access repo). Certains éditeurs approuvent les demandes à la main, ce qui prend plus de temps.
3. Créez un token d’accès dans les réglages de votre compte Hugging Face.
4. Donnez le token à vos outils : lancez hf auth login dans Terminal pour mlx-lm et les autres outils Hugging Face (Hugging Face), ou collez-le dans le champ de token Hugging Face de l’app.

6Le lancer : quatre façons

mlx-lm : MLX d’Apple dans Terminal

Installez-le avec pip, puis indiquez n’importe quel modèle MLX de Hugging Face ; la première exécution le télécharge (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server sert un modèle sur une API façon OpenAI à localhost:8080 pour d’autres apps (mlx-lm) :

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio : une app avec un catalogue de modèles

LM Studio cherche et télécharge des modèles depuis Hugging Face dans l’app, et exécute des modèles MLX sur Apple Silicon ainsi que des GGUF via llama.cpp. Il demande Apple Silicon et macOS 14 ou ultérieur, et recommande 16 GB de mémoire ou plus (LM Studio).

Ollama : une seule commande

Ollama exécute les modèles de sa propre bibliothèque et n’importe quel dépôt GGUF de Hugging Face directement, avec un tag de quantification facultatif (Hugging Face) :

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness : notre app gratuite

MLX Harness est notre app Mac gratuite, construite sur vMLX : elle cherche des modèles MLX sur Hugging Face, discute, exécute des outils et des modèles d’image, et sert le tout sur une API locale. Sa passerelle utilise aussi le port 8080 : ne la lancez pas en même temps que mlx_lm.server sur le même port. Quand vous n’utilisez pas le Mac, MLX Node peut le prêter à MLX Network.

7Questions

Où télécharger des LLM pour Mac ?

Sur Hugging Face. Cherchez des versions MLX, dont beaucoup sont publiées par mlx-community, ou des fichiers GGUF. LM Studio et Ollama peuvent les chercher et les télécharger pour vous.

Quelle taille de modèle télécharger ?

Un modèle dont les poids tiennent largement dans la mémoire de votre Mac : en 4 bits, environ 0,56 GB par milliard de paramètres, soit environ 4,5 GB pour un modèle 8B et 39 GB pour un 70B, plus de la place pour le contexte. Compare sur mlx.app le vérifie pour votre Mac.

MLX ou GGUF sur Mac ?

Les deux fonctionnent bien sur Apple Silicon. Les versions MLX sont faites pour MLX d’Apple et tournent dans mlx-lm, LM Studio et MLX Harness ; les fichiers GGUF tournent dans llama.cpp, Ollama et LM Studio.

Faut-il un compte Hugging Face ?

Pas pour les modèles publics. Les modèles à accès restreint demandent un compte gratuit, une licence acceptée et un token d’accès.

Peut-on utiliser les modèles téléchargés hors ligne ?

Oui. Une fois les fichiers sur votre Mac, le modèle tourne sans connexion internet et vos prompts restent sur le Mac.