96 GB'lık M5 Ultra için en iyi LLM hangisi?

Yayımlanmış Intelligence Index puanı olan modeller arasında burada iyi çalışanların en yüksek puanlısı Qwen3.8 27B: 8 bit, saniyede yaklaşık 19–33 token. İyi çalışanların en büyüğü gpt-oss-120b.

96 GB'lık M5 Ultra, Llama 3.3 70B çalıştırabilir mi?

Evet: 4 bit, saniyede yaklaşık 14–24 token.

gpt-oss-20b, M5 Ultra çipinde ne kadar hızlı?

Çipin 1.200 GB/s bellek bant genişliğiyle saniyede yaklaşık 284–505 token (yerel 4,25 bit).

96 GB'lık M5 Ultra hangi LLM'leri çalıştırır? Modeller ve hız

İyi çalışanlar 51

Bağlam için yer kalarak sığar, saniyede 10 veya daha fazla token.

Model	Sürüm	Bellek	Token/s
Qwen3.8 27B27B · Zekâ 33,7	8 bit	28,7 GB	19–33
Nemotron 3.5 Bolt 74B A9B74B · 9B etkin · Zekâ 21,4	6 bit	60,1 GB	74–132
Qwen3.6 35B A3B35B · 3B etkin · Zekâ 18,2	8 bit	37,2 GB	169–300
Muse Glimmer 30B29,6B · Zekâ 17,5	8 bit	31,5 GB	17–30
Gemma 4 31B30,7B · Zekâ 14,7	8 bit	32,6 GB	17–29
Nemotron 3.5 Lightning 30B A3B30B · 3B etkin · Zekâ 12,9	8 bit	31,9 GB	169–300
Granite 4.2 30B30B · Zekâ 12,7	8 bit	31,9 GB	17–30
MiniCPM5 2B2,52B · Zekâ 12,5	8 bit	2,7 GB	200–356
gpt-oss-120b117B · 5,1B etkin · Zekâ 11,6	yerel 4,25 bit	65,3 GB	200–356
Qwen3.5 9B9B · Zekâ 11,2	8 bit	9,6 GB	56–100
Granite 4.2 8B8B · Zekâ 11,1	8 bit	8,5 GB	64–113
Qwen3 Coder Next80B · 3B etkin · Zekâ 9,2	6 bit	65 GB	225–400
Granite 4.2 3B3B · Zekâ 9,1	8 bit	3,2 GB	169–300
gpt-oss-20b21B · 3,6B etkin · Zekâ 9	yerel 4,25 bit	13,8 GB	284–505
Nemotron 3 Nano 30B A3B30B · 3,5B etkin · Zekâ 8,9	8 bit	31,9 GB	146–259
Gemma 4 E4B8B · Zekâ 8,9	8 bit	8,5 GB	113–200
Llama 4 Scout 17B-16E Instruct109B · 17B etkin · Zekâ 6,5	4 bit	61,3 GB	56–100
Ministral 3 8B8,9B · Zekâ 5,5	8 bit	9,5 GB	57–101
Nemotron 3 Nano 4B3,97B · Zekâ 4,8	8 bit	4,2 GB	129–229
GLM-4.5 Air106B · 12B etkin	4 bit	59,6 GB	79–141
Llama 3.3 70B Instruct70B	4 bit	39,4 GB	14–24
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B etkin	8 bit	32,4 GB	154–274
GLM-4.7 Flash30B · 3B etkin	8 bit	31,9 GB	169–300
Qwen3.6 27B27B	8 bit	28,7 GB	19–33
Gemma 4 26B A4B25,2B · 3,8B etkin	8 bit	26,8 GB	135–240
Devstral Small 2 (24B)24B	8 bit	25,5 GB	21–38
Magistral Small 1.2 (2509)24B	8 bit	25,5 GB	21–38
Mistral Small 3.2 (24B)24B	8 bit	25,5 GB	21–38
LFM2.5 24B A2B24B · 2B etkin	8 bit	25,5 GB	257–457
Phi-4 Reasoning Vision 15B15B	8 bit	15,9 GB	34–60
Phi-4 (14B)14B	8 bit	14,9 GB	36–64
Gemma 4 12B Unified12B	8 bit	12,7 GB	43–76
Qwen3 8B8,2B	8 bit	8,7 GB	62–110
Llama 3.1 8B Instruct8B	8 bit	8,5 GB	64–113
Gemma 4 E2B5,1B	8 bit	5,4 GB	225–400
Qwen3.5 4B4B	8 bit	4,3 GB	126–223
Phi-4 mini instruct3,8B	8 bit	4 GB	135–240
Llama 3.2 3B Instruct3,21B	8 bit	3,4 GB	159–282
SmolLM3 3B3B	8 bit	3,2 GB	169–300
LFM2.5 2.6B2,69B	8 bit	2,9 GB	186–331
Qwen3.5 2B2B	8 bit	2,1 GB	257–457
Llama 3.2 1B Instruct1,23B	8 bit	1,3 GB	415–738
Qwen3.5 0.8B0,8B	8 bit	0,9 GB	600–1067
Qwen3 0.6B0,6B	8 bit	0,6 GB	900–1600
Qwen3.8 Flash Next180B · 6B etkin · Zekâ 39,8	2 bit daha düşük kalite	56,3 GB	284–505
Qwen3.5 122B A10B122B · 10B etkin · Zekâ 15,6	3 bit daha düşük kalite	53,4 GB	123–218
Mistral Medium 3.5 (128B)128B · Zekâ 14,2	3 bit daha düşük kalite	56 GB	10–17
Mistral Small 4 (119B)119B · 6,5B etkin · Zekâ 11,3	3 bit daha düşük kalite	52,1 GB	193–343
Devstral 2 (123B)123B	3 bit daha düşük kalite	53,8 GB	10–18
Ornith 1.5 122B122B · 10B etkin	3 bit daha düşük kalite	53,4 GB	123–218
Nemotron 3 Super 120B A12B120B · 12B etkin	3 bit daha düşük kalite	52,5 GB	102–181

Ancak sığanlar 1

Neredeyse tüm belleği kullanır: GPU bellek sınırını yükseltin ve bağlamı kısa tutun.

Model	Sürüm	Bellek	Token/s
MiniMax M2.7230B · 10B etkin	2 bit daha düşük kalite	71,9 GB	174–310

Diğer Mac'ler

96 GB'lık tüm Mac'ler, her çiple.

Daha fazla veya daha az bellekle M5 Ultra:

Komşu çipler:

M5 Max 64 GB39 iyi çalışır

Mac Studio M5 Ultra

Karşı karşıya:

PC’lere ve ekran kartlarına karşı:

Herhangi bir Mac veya GPU ile karşılaştırın · Yerel yapay zekâ için M5 Ultra · Yerel LLM'ler için en iyi Mac · Tüm Mac'ler

Sorular

96 GB'lık M5 Ultra için en iyi LLM hangisi?: Yayımlanmış Intelligence Index puanı olan modeller arasında burada iyi çalışanların en yüksek puanlısı Qwen3.8 27B: 8 bit, saniyede yaklaşık 19–33 token. İyi çalışanların en büyüğü gpt-oss-120b.
96 GB'lık M5 Ultra, Llama 3.3 70B çalıştırabilir mi?: Evet: 4 bit, saniyede yaklaşık 14–24 token.
gpt-oss-20b, M5 Ultra çipinde ne kadar hızlı?: Çipin 1.200 GB/s bellek bant genişliğiyle saniyede yaklaşık 284–505 token (yerel 4,25 bit).

Bunları MLX Harness ile (ücretsiz, açık kaynak) ya da Terminal'de Apple'ın mlx-lm aracıyla çalıştırın: adım adım.

Nasıl hesaplanır

Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.

96 GB'lık M5 Ultra neleri çalıştırır?