128 GB'lık M2 Ultra için en iyi LLM hangisi?

Yayımlanmış Intelligence Index puanı olan modeller arasında burada iyi çalışanların en yüksek puanlısı Qwen3.8 27B: 8 bit, saniyede yaklaşık 13–22 token. İyi çalışanların en büyüğü Qwen3.5 122B A10B.

128 GB'lık M2 Ultra, Llama 3.3 70B çalıştırabilir mi?

Evet ama yavaş: 8 bit, saniyede yaklaşık 5–9 token.

gpt-oss-20b, M2 Ultra çipinde ne kadar hızlı?

Çipin 800 GB/s bellek bant genişliğiyle saniyede yaklaşık 189–337 token (yerel 4,25 bit).

128 GB'lık M2 Ultra hangi LLM'leri çalıştırır? Modeller ve hız

İyi çalışanlar 51

Bağlam için yer kalarak sığar, saniyede 10 veya daha fazla token.

Model	Sürüm	Bellek	Token/s
Qwen3.8 27B27B · Zekâ 33,7	8 bit	28,7 GB	13–22
Nemotron 3.5 Bolt 74B A9B74B · 9B etkin · Zekâ 21,4	8 bit	78,6 GB	38–67
Qwen3.6 35B A3B35B · 3B etkin · Zekâ 18,2	8 bit	37,2 GB	113–200
Muse Glimmer 30B29,6B · Zekâ 17,5	8 bit	31,5 GB	11–20
Qwen3.5 122B A10B122B · 10B etkin · Zekâ 15,6	4 bit	68,6 GB	64–114
Gemma 4 31B30,7B · Zekâ 14,7	8 bit	32,6 GB	11–20
Nemotron 3.5 Lightning 30B A3B30B · 3B etkin · Zekâ 12,9	8 bit	31,9 GB	113–200
Granite 4.2 30B30B · Zekâ 12,7	8 bit	31,9 GB	11–20
MiniCPM5 2B2,52B · Zekâ 12,5	8 bit	2,7 GB	133–237
gpt-oss-120b117B · 5,1B etkin · Zekâ 11,6	yerel 4,25 bit	65,3 GB	133–237
Mistral Small 4 (119B)119B · 6,5B etkin · Zekâ 11,3	4 bit	66,9 GB	97–173
Qwen3.5 9B9B · Zekâ 11,2	8 bit	9,6 GB	38–67
Granite 4.2 8B8B · Zekâ 11,1	8 bit	8,5 GB	42–75
Qwen3 Coder Next80B · 3B etkin · Zekâ 9,2	8 bit	85 GB	113–200
Granite 4.2 3B3B · Zekâ 9,1	8 bit	3,2 GB	113–200
gpt-oss-20b21B · 3,6B etkin · Zekâ 9	yerel 4,25 bit	13,8 GB	189–337
Nemotron 3 Nano 30B A3B30B · 3,5B etkin · Zekâ 8,9	8 bit	31,9 GB	97–173
Gemma 4 E4B8B · Zekâ 8,9	8 bit	8,5 GB	75–133
Llama 4 Scout 17B-16E Instruct109B · 17B etkin · Zekâ 6,5	6 bit	88,6 GB	26–46
Ministral 3 8B8,9B · Zekâ 5,5	8 bit	9,5 GB	38–67
Nemotron 3 Nano 4B3,97B · Zekâ 4,8	8 bit	4,2 GB	86–152
Ornith 1.5 122B122B · 10B etkin	4 bit	68,6 GB	64–114
Nemotron 3 Super 120B A12B120B · 12B etkin	4 bit	67,5 GB	53–94
GLM-4.5 Air106B · 12B etkin	6 bit	86,1 GB	37–65
Qwen3 Coder 30B A3B Instruct30,5B · 3,3B etkin	8 bit	32,4 GB	103–183
GLM-4.7 Flash30B · 3B etkin	8 bit	31,9 GB	113–200
Qwen3.6 27B27B	8 bit	28,7 GB	13–22
Gemma 4 26B A4B25,2B · 3,8B etkin	8 bit	26,8 GB	90–160
Devstral Small 2 (24B)24B	8 bit	25,5 GB	14–25
Magistral Small 1.2 (2509)24B	8 bit	25,5 GB	14–25
Mistral Small 3.2 (24B)24B	8 bit	25,5 GB	14–25
LFM2.5 24B A2B24B · 2B etkin	8 bit	25,5 GB	171–305
Phi-4 Reasoning Vision 15B15B	8 bit	15,9 GB	23–40
Phi-4 (14B)14B	8 bit	14,9 GB	24–43
Gemma 4 12B Unified12B	8 bit	12,7 GB	28–50
Qwen3 8B8,2B	8 bit	8,7 GB	41–74
Llama 3.1 8B Instruct8B	8 bit	8,5 GB	42–75
Gemma 4 E2B5,1B	8 bit	5,4 GB	150–267
Qwen3.5 4B4B	8 bit	4,3 GB	84–149
Phi-4 mini instruct3,8B	8 bit	4 GB	90–160
Llama 3.2 3B Instruct3,21B	8 bit	3,4 GB	106–188
SmolLM3 3B3B	8 bit	3,2 GB	113–200
LFM2.5 2.6B2,69B	8 bit	2,9 GB	124–221
Qwen3.5 2B2B	8 bit	2,1 GB	171–305
Llama 3.2 1B Instruct1,23B	8 bit	1,3 GB	277–492
Qwen3.5 0.8B0,8B	8 bit	0,9 GB	400–711
Qwen3 0.6B0,6B	8 bit	0,6 GB	600–1067
Qwen3.8 Flash Next180B · 6B etkin · Zekâ 39,8	3 bit daha düşük kalite	78,8 GB	138–246
Inkling Small276B · 12B etkin · Zekâ 25,7	2 bit daha düşük kalite	86,3 GB	95–168
DeepSeek V4 Flash 0731284B · 13B etkin	2 bit daha düşük kalite	88,8 GB	88–156
MiniMax M2.7230B · 10B etkin	2 bit daha düşük kalite	71,9 GB	116–206

Çalışır ama yavaş 3

Sığar ama saniyede 10 tokenın altında: toplu işler için uygun, sohbet için yavaş.

Model	Sürüm	Bellek	Token/s
Mistral Medium 3.5 (128B)128B · Zekâ 14,2	4 bit	72 GB	5–9
Devstral 2 (123B)123B	4 bit	69,2 GB	5–9
Llama 3.3 70B Instruct70B	8 bit	74,4 GB	5–9

Ancak sığanlar 3

Neredeyse tüm belleği kullanır: GPU bellek sınırını yükseltin ve bağlamı kısa tutun.

Model	Sürüm	Bellek	Token/s
GLM-5.3 Flash320B · 18B etkin · Zekâ 41,8	2 bit daha düşük kalite	100 GB	64–114
MiMo V2.6 Flash309B · 15B etkin · Zekâ 37,9	2 bit daha düşük kalite	96,6 GB	77–136
Hy3295B · 21B etkin · Zekâ 25,3	2 bit daha düşük kalite	92,2 GB	55–97

Çok büyük olanlar 16

2 bitte bile 128 GB'tan fazla bellek gerekir.

Diğer Mac'ler

128 GB'lık tüm Mac'ler, her çiple.

Daha fazla veya daha az bellekle M2 Ultra:

Komşu çipler:

Karşı karşıya:

Herhangi bir Mac veya GPU ile karşılaştırın · Yerel yapay zekâ için M2 Ultra · Yerel LLM'ler için en iyi Mac · Tüm Mac'ler

Sorular

128 GB'lık M2 Ultra için en iyi LLM hangisi?: Yayımlanmış Intelligence Index puanı olan modeller arasında burada iyi çalışanların en yüksek puanlısı Qwen3.8 27B: 8 bit, saniyede yaklaşık 13–22 token. İyi çalışanların en büyüğü Qwen3.5 122B A10B.
128 GB'lık M2 Ultra, Llama 3.3 70B çalıştırabilir mi?: Evet ama yavaş: 8 bit, saniyede yaklaşık 5–9 token.
gpt-oss-20b, M2 Ultra çipinde ne kadar hızlı?: Çipin 800 GB/s bellek bant genişliğiyle saniyede yaklaşık 189–337 token (yerel 4,25 bit).

Bunları MLX Harness ile (ücretsiz, açık kaynak) ya da Terminal'de Apple'ın mlx-lm aracıyla çalıştırın: adım adım.

Nasıl hesaplanır

Bellek: modelin parametreleri ağırlık başına 8, 6, 4, 3 veya 2 bitte, artı MLX'in grup ölçekleri (ağırlık başına yarım bit) ya da modelin yerel biçimi; üstüne bağlam için yer. macOS varsayılan olarak GPU'nun birleşik belleğin yaklaşık %75'ini kullanmasına izin verir. Hız: bellek bant genişliğinin token başına okunan bayt sayısına bölümü, tek bir sohbet için üst sınırdır; llama.cpp'nin herkese açık Apple Silicon karşılaştırmalarında gerçek çalıştırmalar bunun yaklaşık %45 ile %80'ine ulaşır ve gösterilen aralık budur. Bunlar ölçüm değil tahmindir: kendi Mac'inizi MLX Bench ile ölçün. Model verileri her modelin resmî model kartından, çip verileri Apple'ın Teknik Özellikler sayfalarından alınmıştır. Kontrol tarihi: 2026-10-19. mlx.app/compare ile aynı veriler.