Giriş yapCüzdan oluştur

96 GB'lık M3 Ultra neleri çalıştırır?

73 açık modelden 43 tanesi bu Mac'te iyi çalışır. GPU varsayılan olarak 96 GB'ın yaklaşık 72 GB'ını kullanabilir ve bellek 819 GB/s hızla okunur; yazma hızını bu belirler. Bulunduğu modeller: Mac Studio (2025).

İyi çalışanların en akıllısıQwen3.8 27B8 bit · 28,7 GB · 13–23 tok/sİyi çalışanların en büyüğügpt-oss-120byerel 4,25 bit · 65,3 GB · 137–243 tok/sKod içinQwen3 Coder Next6 bit · 65 GB · 154–273 tok/s

İyi çalışanlar 48

Bağlam için yer kalarak sığar, saniyede 10 veya daha fazla token.

ModelSürümBellekToken/s
Qwen3.8 27B27B · Zekâ 33,78 bit28,7 GB13–23
Nemotron 3.5 Bolt 74B A9B74B · 9B etkin · Zekâ 21,46 bit60,1 GB50–90
Qwen3.6 35B A3B35B · 3B etkin · Zekâ 18,28 bit37,2 GB115–205
Muse Glimmer 30B29,6B · Zekâ 17,58 bit31,5 GB12–21
Gemma 4 31B30,7B · Zekâ 14,78 bit32,6 GB11–20
Nemotron 3.5 Lightning 30B A3B30B · 3B etkin · Zekâ 12,98 bit31,9 GB115–205
Granite 4.2 30B30B · Zekâ 12,78 bit31,9 GB12–21
MiniCPM5 2B2,52B · Zekâ 12,58 bit2,7 GB137–243
gpt-oss-120b117B · 5,1B etkin · Zekâ 11,6yerel 4,25 bit65,3 GB137–243
Qwen3.5 9B9B · Zekâ 11,28 bit9,6 GB38–68
Granite 4.2 8B8B · Zekâ 11,18 bit8,5 GB43–77
Qwen3 Coder Next80B · 3B etkin · Zekâ 9,26 bit65 GB154–273
Granite 4.2 3B3B · Zekâ 9,18 bit3,2 GB115–205
gpt-oss-20b21B · 3,6B etkin · Zekâ 9yerel 4,25 bit13,8 GB194–345
Nemotron 3 Nano 30B A3B30B · 3,5B etkin · Zekâ 8,98 bit31,9 GB100–177
Gemma 4 E4B8B · Zekâ 8,98 bit8,5 GB77–137
Llama 4 Scout 17B-16E Instruct109B · 17B etkin · Zekâ 6,54 bit61,3 GB38–68
Ministral 3 8B8,9B · Zekâ 5,58 bit9,5 GB39–69
Nemotron 3 Nano 4B3,97B · Zekâ 4,88 bit4,2 GB88–156
GLM-4.5 Air106B · 12B etkin4 bit59,6 GB54–96
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B etkin8 bit32,4 GB105–187
GLM-4.7 Flash30B · 3B etkin8 bit31,9 GB115–205
Qwen3.6 27B27B8 bit28,7 GB13–23
Gemma 4 26B A4B25,2B · 3,8B etkin8 bit26,8 GB92–164
Devstral Small 2 (24B)24B8 bit25,5 GB14–26
Magistral Small 1.2 (2509)24B8 bit25,5 GB14–26
Mistral Small 3.2 (24B)24B8 bit25,5 GB14–26
LFM2.5 24B A2B24B · 2B etkin8 bit25,5 GB176–312
Phi-4 Reasoning Vision 15B15B8 bit15,9 GB23–41
Phi-4 (14B)14B8 bit14,9 GB25–44
Gemma 4 12B Unified12B8 bit12,7 GB29–52
Qwen3 8B8,2B8 bit8,7 GB42–75
Llama 3.1 8B Instruct8B8 bit8,5 GB43–77
Gemma 4 E2B5,1B8 bit5,4 GB154–273
Qwen3.5 4B4B8 bit4,3 GB86–152
Phi-4 mini instruct3,8B8 bit4 GB92–164
Llama 3.2 3B Instruct3,21B8 bit3,4 GB108–193
SmolLM3 3B3B8 bit3,2 GB115–205
LFM2.5 2.6B2,69B8 bit2,9 GB127–226
Qwen3.5 2B2B8 bit2,1 GB176–312
Llama 3.2 1B Instruct1,23B8 bit1,3 GB284–504
Qwen3.5 0.8B0,8B8 bit0,9 GB410–728
Qwen3 0.6B0,6B8 bit0,6 GB614–1092
Qwen3.8 Flash Next180B · 6B etkin · Zekâ 39,82 bit daha düşük kalite56,3 GB194–345
Qwen3.5 122B A10B122B · 10B etkin · Zekâ 15,63 bit daha düşük kalite53,4 GB84–149
Mistral Small 4 (119B)119B · 6,5B etkin · Zekâ 11,33 bit daha düşük kalite52,1 GB132–234
Ornith 1.5 122B122B · 10B etkin3 bit daha düşük kalite53,4 GB84–149
Nemotron 3 Super 120B A12B120B · 12B etkin3 bit daha düşük kalite52,5 GB70–124

Çalışır ama yavaş 3

Sığar ama saniyede 10 tokenın altında: toplu işler için uygun, sohbet için yavaş.

ModelSürümBellekToken/s
Llama 3.3 70B Instruct70B6 bit56,9 GB6–12
Mistral Medium 3.5 (128B)128B · Zekâ 14,23 bit daha düşük kalite56 GB7–12
Devstral 2 (123B)123B3 bit daha düşük kalite53,8 GB7–12

Ancak sığanlar 1

Neredeyse tüm belleği kullanır: GPU bellek sınırını yükseltin ve bağlamı kısa tutun.

ModelSürümBellekToken/s
MiniMax M2.7230B · 10B etkin2 bit daha düşük kalite71,9 GB119–211

Çok büyük olanlar 21

2 bitte bile 96 GB'tan fazla bellek gerekir.

Diğer Mac'ler

96 GB'lık tüm Mac'ler, her çiple.

Daha fazla veya daha az bellekle M3 Ultra:

Komşu çipler:

Karşı karşıya:

PC’lere ve ekran kartlarına karşı:

Herhangi bir Mac veya GPU ile karşılaştırın · Yerel yapay zekâ için M3 Ultra · Yerel LLM'ler için en iyi Mac · Tüm Mac'ler

Sorular

96 GB'lık M3 Ultra için en iyi LLM hangisi?
Yayımlanmış Intelligence Index puanı olan modeller arasında burada iyi çalışanların en yüksek puanlısı Qwen3.8 27B: 8 bit, saniyede yaklaşık 13–23 token. İyi çalışanların en büyüğü gpt-oss-120b.
96 GB'lık M3 Ultra, Llama 3.3 70B çalıştırabilir mi?
Evet ama yavaş: 6 bit, saniyede yaklaşık 6–12 token.
gpt-oss-20b, M3 Ultra çipinde ne kadar hızlı?
Çipin 819 GB/s bellek bant genişliğiyle saniyede yaklaşık 194–345 token (yerel 4,25 bit).

Bunları MLX Harness ile (ücretsiz, açık kaynak) ya da Terminal'de Apple'ın mlx-lm aracıyla çalıştırın: adım adım.

Nasıl hesaplanır

Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.

96 GB'lık M3 Ultra hangi LLM'leri çalıştırır? Modeller ve hız