Faites tourner un LLM sur votre Mac.

1Ce qui tient sur votre Mac

Les poids d’un modèle doivent tenir en mémoire en laissant de la marge pour le contexte et macOS. À 4 bits par poids, comptez environ 0,55 à 0,6 GB par milliard de paramètres.

La vitesse est une autre question : chaque nouveau token exige de relire une fois les poids actifs en mémoire, si bien que les tokens par seconde suivent la bande passante mémoire. Notre guide du meilleur Mac pour les LLM en local passe en revue chaque puce.

2La méthode facile : LM Studio

LM Studio est une app Mac gratuite avec une fenêtre de chat et un catalogue de modèles. Sur Apple Silicon, elle fait tourner les modèles au format MLX d’Apple comme au format GGUF utilisé par llama.cpp.

1. Téléchargez LM Studio et ouvrez-le.
2. Recherchez un modèle, privilégiez une version MLX sur Apple Silicon, et choisissez une taille adaptée à votre mémoire.
3. Chargez-le et commencez à discuter. Vous pouvez aussi activer son serveur local pour d’autres apps.

3En une commande : Ollama

Ollama fait tourner des modèles depuis le Terminal et les met à disposition des autres apps de votre Mac. Une fois Ollama installé, une seule commande télécharge et lance un modèle :

ollama run llama3.2

Depuis la version 0.19, Ollama sur Apple Silicon propose une préversion basée sur le framework MLX d’Apple pour les modèles pris en charge, avec de fortes accélérations ; cette préversion demande un Mac avec plus de 32 GB de mémoire (Ollama).

4La méthode la plus rapide : MLX d’Apple et mlx-lm

MLX est le framework open source d’apprentissage automatique d’Apple pour Apple Silicon, et mlx-lm son paquet pour les modèles de langage. Des milliers de modèles prêts à l’emploi sont disponibles dans l’organisation mlx-community sur Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Utilisez mlx_lm.chat pour discuter dans le Terminal et mlx_lm.server pour une API locale que d’autres apps peuvent appeler. Sur les puces M5, MLX exploite les nouveaux accélérateurs neuronaux du GPU : Apple a mesuré un premier token 3,3 à 4,1 fois plus rapide que sur M4 (Apple Machine Learning Research).

5Mesurez, puis mettez-le au travail

MLX Bench est un classement ouvert de la vitesse de MLX sur chaque puce Apple Silicon : tokens par seconde en génération et en lecture du prompt, et pic de mémoire. Lancez le script d’un seul fichier sur votre Mac et voyez où il se classe.

Quand vous n’utilisez pas votre Mac, il peut faire tourner de l’IA pour d’autres. MLX Node est une app gratuite qui exécute des tâches d’IA pour MLX Network sur le même framework MLX et gagne des jetons MLX pour le travail vérifié, dans les limites que vous fixez.

6Questions

Un MacBook Air peut-il faire tourner un LLM ?

Oui. Un MacBook Air de 16 GB fait tourner confortablement des modèles 7B à 14B en 4 bits ; avec 32 GB, des modèles jusqu’à environ 30B. Il sera plus lent qu’un Mac à puce Pro ou Max, qui dispose de plus de bande passante mémoire.

MLX est-il plus rapide qu’Ollama sur Mac ?

Souvent, car MLX est écrit pour Apple Silicon. La préversion d’Ollama basée sur MLX annonce elle-même de fortes accélérations sur Apple Silicon. Notre guide MLX vs Ollama les compare en détail.

Les modèles locaux fonctionnent-ils hors ligne ?

Oui. Une fois téléchargé, le modèle tourne entièrement sur votre Mac et vos prompts n’en sortent jamais.

Combien de mémoire faut-il pour un modèle 70B ?

Environ 40 GB pour les poids en 4 bits, donc un Mac de 64 GB ou plus. Des modèles mixture-of-experts de qualité comparable peuvent demander plus de mémoire, mais tournent plus vite.