Mac'inizde bir LLM çalıştırın.

1Mac'inize neler sığar?

Bir modelin ağırlıkları, bağlam ve macOS için pay bırakarak belleğe sığmalıdır. Ağırlık başına 4 bitte, milyar parametre başına yaklaşık 0,55 ila 0,6 GB hesaplayın.

Hız ayrı bir konudur: her yeni token, etkin ağırlıkların bellekten bir kez okunmasını gerektirir; bu yüzden saniyedeki token sayısı bellek bant genişliğiyle birlikte artar. Yerel LLM için en iyi Mac rehberimiz tüm çipleri ele alır.

2Kolay yol: LM Studio

LM Studio, sohbet penceresi ve model tarayıcısı olan ücretsiz bir Mac uygulamasıdır. Apple Silicon'da hem Apple'ın MLX biçimindeki modelleri hem de llama.cpp'nin kullandığı GGUF biçimindeki modelleri çalıştırabilir.

1. LM Studio'yu indirin ve açın.
2. Bir model arayın, Apple Silicon'da MLX sürümünü tercih edin ve belleğinize sığan bir boyut seçin.
3. Modeli yükleyin ve sohbete başlayın. Diğer uygulamalar için yerel sunucusunu da açabilirsiniz.

3Tek komut: Ollama

Ollama, modelleri terminalden çalıştırır ve Mac'inizdeki diğer uygulamalara sunar. Kurduktan sonra tek bir komut bir modeli indirip başlatır:

ollama run llama3.2

Ollama, 0.19 sürümünden bu yana Apple Silicon'da desteklenen modeller için Apple'ın MLX framework'üyle çalışan ve büyük hız artışları sağlayan bir önizlemeye sahip; önizleme, 32 GB'tan fazla belleği olan bir Mac istiyor (Ollama).

4En hızlı yol: Apple'ın MLX'i ve mlx-lm

MLX, Apple'ın Apple Silicon için açık kaynaklı makine öğrenimi framework'üdür; mlx-lm ise dil modelleri için paketidir. Hugging Face'teki mlx-community organizasyonunda binlerce model kullanıma hazırdır.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Terminalde sohbet için mlx_lm.chat, diğer uygulamaların çağırabileceği yerel bir API için mlx_lm.server kullanın. M5 çiplerde MLX, GPU'daki yeni nöral hızlandırıcıları kullanır: Apple'ın ölçümlerine göre ilk token M4'e kıyasla 3,3 ila 4,1 kat daha erken geliyor (Apple Machine Learning Research).

5Ölçün, sonra işe koşun

MLX Bench, her Apple Silicon çipinde MLX hızını gösteren açık bir sıralamadır: üretim ve istem işleme için saniyedeki token sayısı ve en yüksek bellek kullanımı. Tek dosyalık betiği Mac'inizde çalıştırın ve nereye yerleştiğini görün.

Mac'iniz, siz kullanmadığınızda başkaları için yapay zekâ çalıştırabilir. MLX Node, aynı MLX framework'ü üzerinde MLX Network için yapay zekâ işleri çalıştıran ve belirlediğiniz sınırlar içinde, doğrulanmış iş için MLX token kazanan ücretsiz bir uygulamadır.

6Sorular

MacBook Air bir LLM çalıştırabilir mi?

Evet. 16 GB'lık bir MacBook Air, 4 bitte 7B ila 14B modelleri rahatça çalıştırır; 32 GB ile yaklaşık 30B'ye kadar modelleri. Daha yüksek bellek bant genişliğine sahip Pro veya Max çipli bir Mac'ten daha yavaş olur.

Mac'te MLX, Ollama'dan daha mı hızlı?

Çoğu zaman evet, çünkü MLX Apple Silicon için yazılmıştır. Ollama'nın kendi MLX destekli önizlemesi de Apple Silicon'da büyük hız artışları bildiriyor. MLX ile Ollama karşılaştırma rehberimiz ikisini ayrıntılı olarak karşılaştırır.

Yerel modeller çevrimdışı çalışır mı?

Evet. İndirildikten sonra model tamamen Mac'inizde çalışır ve istemleriniz Mac'inizden asla çıkmaz.

70B bir model için ne kadar bellek gerekir?

4 bitte ağırlıklar için yaklaşık 40 GB; yani 64 GB veya daha fazla belleği olan bir Mac. Benzer kalitedeki mixture-of-experts modelleri daha fazla bellek isteyebilir, ancak daha hızlı çalışır.