Mac'inizde LLM indirin ve çalıştırın.

1Modeller nerede bulunur?

Açık ağırlıklı modellerin çoğu Hugging Face'te barındırılır. Aynı model genellikle birkaç sürümde gelir ve hangi uygulamanın onu çalıştırabileceğine biçim karar verir:

Hangi çalışma ortamını kullanacağınızdan emin değil misiniz? MLX vs Ollama vs llama.cpp bunları karşılaştırır. Bu işlerde yeni misiniz? Mac'te LLM çalıştırma rehberiyle başlayın.

2Belleğinize sığan bir boyut seçin

Bir modelin ağırlıkları belleğe pay bırakarak sığmalıdır. MLX nicemlenmiş bir ağırlığı bitleri artı her 64 ağırlıklık grup için ortak bir ölçek ve sapma olarak saklar; bu, ağırlık başına yaklaşık yarım bit fazlası demektir (MLX). Bu yüzden 4 bit, milyar parametre başına yaklaşık 0,56 GB, 8 bit ise yaklaşık 1,06 GB tutar.

macOS varsayılan olarak GPU'nun birleşik belleğin yalnızca bir kısmını kullanmasına izin verir; Compare yaklaşık dörtte üçünü varsayar ve mlx-lm'in README'si macOS 15 veya sonrasında sınırın sudo sysctl iogpu.wired_limit_mb=N ile nasıl yükseltileceğini gösterir (mlx-lm). Uzmanlar karışımı (mixture of experts) modellerinde belleği toplam parametre sayısı, hızı ise aktif parametre sayısı belirler. Compare bu hesabı her popüler model ve her Apple çipi için yapar; yerel LLM'ler için en iyi Mac ise hızı neden bant genişliğinin belirlediğini açıklar.

3Nicemleme: 4 bit, 8 bit ve diğerleri

Nicemleme her ağırlığı daha az bitle saklar; böylece model daha az bellek kullanır ve daha hızlı çalışır, karşılığında kaliteden biraz ödün verilir. Mac'te olağan başlangıç noktası 4 bittir. 8 bit orijinale daha yakındır ve iki kat büyüktür. 4 bitin altında dosyalar küçülür ama yanıtlar daha çabuk bozulur; bu yüzden onları yalnızca daha büyük bir model başka türlü sığmayacaksa deneyin.

• MLX sürümleri bunu adlarında belirtir: -4bit, -8bit ve bazen hassas katmanları daha fazla bitte tutan karma hassasiyetli sürümler.
• GGUF dosyaları llama.cpp adlarını kullanır: Q4_K_M, Q5_K_M, Q8_0 ve benzerleri. Ollama'da bir Hugging Face GGUF deposunu belirli bir sürüm adı vermeden çalıştırdığınızda, varsa Q4_K_M'yi seçer (Hugging Face).
• Orijinal ağırlıklardan kendi MLX sürümünüzü yapın: mlx_lm.convert --model mistralai/Mistral-7B-Instruct-v0.3 -q 4 bitlik bir kopya yazar (mlx-lm).

4Disk alanı ve modellerin saklandığı yer

Bir indirme, yukarıdaki tablodaki ağırlıklar kadar büyüktür; yani 4 bit bir 8B model birkaç gigabayt, bir 70B model ise onlarca gigabayttır. Aynı modelin birkaç boyutunu veya sürümünü denemek hızla birikir.

mlx-lm ve diğer Hugging Face araçları indirmeleri ~/.cache/huggingface/hub içinde tutar; taşımak için HF_HOME veya HF_HUB_CACHE ayarlayın. hf cache ls orada ne olduğunu gösterir, hf cache rm ise bir modeli siler (Hugging Face). Ollama ve LM Studio modelleri kendi klasörlerinde tutar ve kendileri yönetir.

5Erişimi kısıtlı modeller ve Hugging Face token'ları

Llama dahil bazı modellerin erişimi kısıtlıdır (gated): indirebilmek için yapımcının koşullarını kabul etmeniz gerekir (Hugging Face).

1. Ücretsiz bir Hugging Face hesabıyla oturum açın ve modelin sayfasını açın.
2. Sayfadaki düğmeyle koşulları kabul edin (varsayılan olarak Agree and send request to access repo). Bazı yapımcılar istekleri elle onaylar; bu daha uzun sürer.
3. Hugging Face ayarlarınızda bir erişim token'ı oluşturun.
4. Token'ı araçlarınıza verin: mlx-lm ve diğer Hugging Face araçları için Terminal'de hf auth login komutunu çalıştırın (Hugging Face) ya da uygulamanın Hugging Face token alanına yapıştırın.

6Çalıştırın: dört yol

mlx-lm: Terminal'de Apple'ın MLX'i

pip ile kurun, ardından Hugging Face'teki herhangi bir MLX modelinin adını verin; ilk çalıştırmada model indirilir (mlx-lm).

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "How tall is Mt Everest?"
mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit

mlx_lm.server, diğer uygulamalar için bir modeli localhost:8080'de OpenAI tarzı bir API ile sunar (mlx-lm):

mlx_lm.server --model mlx-community/Llama-3.2-3B-Instruct-4bit
curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Say this is a test!"}]}'

LM Studio: model tarayıcılı bir uygulama

LM Studio, Hugging Face'teki modelleri uygulamanın içinden arar ve indirir; Apple Silicon'da MLX modellerini ve llama.cpp üzerinden GGUF'u çalıştırır. Apple Silicon ve macOS 14 veya sonrası gerekir; 16 GB veya daha fazla bellek önerilir (LM Studio).

Ollama: tek komut

Ollama, kendi kütüphanesindeki modelleri ve Hugging Face'teki herhangi bir GGUF deposunu doğrudan, isteğe bağlı bir nicemleme etiketiyle çalıştırır (Hugging Face):

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

MLX Harness: ücretsiz uygulamamız

MLX Harness, vMLX üzerine kurulu ücretsiz Mac uygulamamızdır: Hugging Face'te MLX modelleri arar, sohbet eder, araçları ve görsel modellerini çalıştırır ve her şeyi yerel bir API ile sunar. Ağ geçidi de 8080 numaralı bağlantı noktasını kullanır; bu yüzden onu aynı bağlantı noktasında mlx_lm.server ile birlikte çalıştırmayın. Mac'i kullanmadığınızda MLX Node onu bunun yerine MLX Network'e ödünç verebilir.

7Sorular

Mac için LLM'leri nereden indiririm?

Hugging Face'ten. Çoğunu mlx-community'nin yayımladığı MLX sürümlerine veya GGUF dosyalarına bakın. LM Studio ve Ollama sizin için arayıp indirebilir.

Hangi boyutta bir model indirmeliyim?

Ağırlıkları Mac'inizin belleğine rahatça sığan bir model: 4 bitte milyar parametre başına yaklaşık 0,56 GB, yani 8B bir model için yaklaşık 4,5 GB ve 70B için 39 GB, artı bağlam için yer. mlx.app'teki Compare bunu Mac'iniz için kontrol eder.

Mac'te MLX mi, GGUF mu?

İkisi de Apple Silicon'da iyi çalışır. MLX sürümleri Apple'ın MLX'i için yapılmıştır ve mlx-lm, LM Studio ve MLX Harness'da çalışır; GGUF dosyaları llama.cpp, Ollama ve LM Studio'da çalışır.

Bir Hugging Face hesabına ihtiyacım var mı?

Herkese açık modeller için hayır. Erişimi kısıtlı modeller ücretsiz bir hesap, kabul edilmiş bir lisans ve bir erişim token'ı gerektirir.

İndirdiğim modelleri çevrim dışı çalıştırabilir miyim?

Evet. Dosyalar Mac'inize indikten sonra model internet bağlantısı olmadan çalışır ve istemleriniz Mac'te kalır.