Giriş yapCüzdan oluştur

96 GB'lık Mac için en iyi LLM'ler.

73 açık modelden 44 tanesi 96 GB'ta iyi çalışır. GPU varsayılan olarak bunun yaklaşık 72 GB'ını kullanabilir. Hız çipe bağlıdır: M3 Max çipinde 300 GB/s'den M5 Ultra çipinde 1.200 GB/s'ye kadar.

İyi çalışanların en akıllısıQwen3.8 27B8 bit · 28,7 GB · 5–33 tok/sİyi çalışanların en büyüğügpt-oss-120byerel 4,25 bit · 65,3 GB · 50–356 tok/sKod içinQwen3 Coder Next6 bit · 65 GB · 56–400 tok/s

96 GB'lık Mac'ler

M2–M5 arasında 4 çip 96 GB ile gelir. Kendi listesi ve hızları için birini açın.

İyi çalışanlar 51

Bağlam için yer kalarak sığar, M5 Ultra çipinde saniyede 10 veya daha fazla token.

ModelSürümBellekM3 MaxM5 Ultra
Qwen3.8 27B27B · Zekâ 33,78 bit28,7 GB5–819–33
Nemotron 3.5 Bolt 74B A9B74B · 9B etkin · Zekâ 21,46 bit60,1 GB18–3374–132
Qwen3.6 35B A3B35B · 3B etkin · Zekâ 18,28 bit37,2 GB42–75169–300
Muse Glimmer 30B29,6B · Zekâ 17,58 bit31,5 GB4–817–30
Gemma 4 31B30,7B · Zekâ 14,78 bit32,6 GB4–717–29
Nemotron 3.5 Lightning 30B A3B30B · 3B etkin · Zekâ 12,98 bit31,9 GB42–75169–300
Granite 4.2 30B30B · Zekâ 12,78 bit31,9 GB4–817–30
MiniCPM5 2B2,52B · Zekâ 12,58 bit2,7 GB50–89200–356
gpt-oss-120b117B · 5,1B etkin · Zekâ 11,6yerel 4,25 bit65,3 GB50–89200–356
Qwen3.5 9B9B · Zekâ 11,28 bit9,6 GB14–2556–100
Granite 4.2 8B8B · Zekâ 11,18 bit8,5 GB16–2864–113
Qwen3 Coder Next80B · 3B etkin · Zekâ 9,26 bit65 GB56–100225–400
Granite 4.2 3B3B · Zekâ 9,18 bit3,2 GB42–75169–300
gpt-oss-20b21B · 3,6B etkin · Zekâ 9yerel 4,25 bit13,8 GB71–126284–505
Nemotron 3 Nano 30B A3B30B · 3,5B etkin · Zekâ 8,98 bit31,9 GB36–65146–259
Gemma 4 E4B8B · Zekâ 8,98 bit8,5 GB28–50113–200
Llama 4 Scout 17B-16E Instruct109B · 17B etkin · Zekâ 6,54 bit61,3 GB14–2556–100
Ministral 3 8B8,9B · Zekâ 5,58 bit9,5 GB14–2557–101
Nemotron 3 Nano 4B3,97B · Zekâ 4,88 bit4,2 GB32–57129–229
GLM-4.5 Air106B · 12B etkin4 bit59,6 GB20–3579–141
Llama 3.3 70B Instruct70B4 bit39,4 GB2–414–24
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B etkin8 bit32,4 GB39–69154–274
GLM-4.7 Flash30B · 3B etkin8 bit31,9 GB42–75169–300
Qwen3.6 27B27B8 bit28,7 GB5–819–33
Gemma 4 26B A4B25,2B · 3,8B etkin8 bit26,8 GB34–60135–240
Devstral Small 2 (24B)24B8 bit25,5 GB10–1821–38
Magistral Small 1.2 (2509)24B8 bit25,5 GB10–1821–38
Mistral Small 3.2 (24B)24B8 bit25,5 GB10–1821–38
LFM2.5 24B A2B24B · 2B etkin8 bit25,5 GB64–114257–457
Phi-4 Reasoning Vision 15B15B8 bit15,9 GB11–2034–60
Phi-4 (14B)14B8 bit14,9 GB12–2136–64
Gemma 4 12B Unified12B8 bit12,7 GB11–1943–76
Qwen3 8B8,2B8 bit8,7 GB16–2862–110
Llama 3.1 8B Instruct8B8 bit8,5 GB16–2864–113
Gemma 4 E2B5,1B8 bit5,4 GB56–100225–400
Qwen3.5 4B4B8 bit4,3 GB31–56126–223
Phi-4 mini instruct3,8B8 bit4 GB34–60135–240
Llama 3.2 3B Instruct3,21B8 bit3,4 GB40–71159–282
SmolLM3 3B3B8 bit3,2 GB42–75169–300
LFM2.5 2.6B2,69B8 bit2,9 GB47–83186–331
Qwen3.5 2B2B8 bit2,1 GB64–114257–457
Llama 3.2 1B Instruct1,23B8 bit1,3 GB104–185415–738
Qwen3.5 0.8B0,8B8 bit0,9 GB150–267600–1067
Qwen3 0.6B0,6B8 bit0,6 GB225–400900–1600
Qwen3.8 Flash Next180B · 6B etkin · Zekâ 39,82 bit daha düşük kalite56,3 GB71–126284–505
Qwen3.5 122B A10B122B · 10B etkin · Zekâ 15,63 bit daha düşük kalite53,4 GB31–55123–218
Mistral Medium 3.5 (128B)128B · Zekâ 14,23 bit daha düşük kalite56 GB2–410–17
Mistral Small 4 (119B)119B · 6,5B etkin · Zekâ 11,33 bit daha düşük kalite52,1 GB48–86193–343
Devstral 2 (123B)123B3 bit daha düşük kalite53,8 GB3–410–18
Ornith 1.5 122B122B · 10B etkin3 bit daha düşük kalite53,4 GB31–55123–218
Nemotron 3 Super 120B A12B120B · 12B etkin3 bit daha düşük kalite52,5 GB25–45102–181

Ancak sığanlar 1

Neredeyse tüm belleği kullanır: GPU bellek sınırını yükseltin ve bağlamı kısa tutun.

ModelSürümBellekM3 MaxM5 Ultra
MiniMax M2.7230B · 10B etkin2 bit daha düşük kalite71,9 GB44–77174–310

Çok büyük olanlar 21

2 bitte bile 96 GB'tan fazla bellek gerekir.

Sorular

96 GB'lık Mac için en iyi LLM hangisi?
Yayımlanmış Intelligence Index puanı olan modeller arasında 96 GB'ta iyi çalışanların en yüksek puanlısı Qwen3.8 27B (8 bit). İyi çalışanların en büyüğü gpt-oss-120b. Kod için: Qwen3 Coder Next.
Mac'te yerel yapay zekâ için 96 GB yeterli mi?
Buradaki 73 açık modelden 44 tanesi bu bellekte 4 bit veya daha iyi hassasiyette iyi çalışır. macOS varsayılan olarak GPU'nun bunun yaklaşık 72 GB'ını kullanmasına izin verir; model ve bağlamı buna sığmalıdır.
96 GB'lık bir Mac gpt-oss-20b çalıştırabilir mi?
Evet, yerel 4,25 bit: M3 Max çipinde saniyede yaklaşık 71–126 token, M5 Ultra çipinde 284–505.

Diğer boyutlar: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Bunları MLX Harness ile (ücretsiz, açık kaynak) ya da Terminal'de Apple'ın mlx-lm aracıyla çalıştırın: adım adım.

Nasıl hesaplanır

Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.

96 GB'lık Mac için en iyi yerel LLM'ler (M2–M5): neler, ne hızda