ورودساخت کیف پول

یک M2 Ultra با 128 GB چه چیزهایی را اجرا می‌کند؟

47 از 73 مدل باز روی آن خوب اجرا می‌شوند. GPU به‌طور پیش‌فرض می‌تواند حدود 96 GB از 128 GB آن را استفاده کند و حافظه را با 800 GB/s می‌خواند، که سرعت نوشتن را تعیین می‌کند. در: Mac Studio (2023), Mac Pro (2023), Mac Pro (Rack, 2023).

باهوش‌ترین که خوب اجرا می‌شودQwen3.8 27B8 بیت · 28.7 GB · 13–22 tok/sبزرگ‌ترین که خوب اجرا می‌شودQwen3.5 122B A10B4 بیت · 68.6 GB · 64–114 tok/sبرای کدنویسیQwen3 Coder Next8 بیت · 85 GB · 113–200 tok/s

خوب اجرا می‌شوند 51

با جای کافی برای کانتکست جا می‌شود، با 10 توکن یا بیشتر در ثانیه.

مدلنسخهحافظهتوکن/ثانیه
Qwen3.8 27B27B · هوش 33.78 بیت28.7 GB13–22
Nemotron 3.5 Bolt 74B A9B74B · 9B فعال · هوش 21.48 بیت78.6 GB38–67
Qwen3.6 35B A3B35B · 3B فعال · هوش 18.28 بیت37.2 GB113–200
Muse Glimmer 30B29.6B · هوش 17.58 بیت31.5 GB11–20
Qwen3.5 122B A10B122B · 10B فعال · هوش 15.64 بیت68.6 GB64–114
Gemma 4 31B30.7B · هوش 14.78 بیت32.6 GB11–20
Nemotron 3.5 Lightning 30B A3B30B · 3B فعال · هوش 12.98 بیت31.9 GB113–200
Granite 4.2 30B30B · هوش 12.78 بیت31.9 GB11–20
MiniCPM5 2B2.52B · هوش 12.58 بیت2.7 GB133–237
gpt-oss-120b117B · 5.1B فعال · هوش 11.64.25 بیت اصلی65.3 GB133–237
Mistral Small 4 (119B)119B · 6.5B فعال · هوش 11.34 بیت66.9 GB97–173
Qwen3.5 9B9B · هوش 11.28 بیت9.6 GB38–67
Granite 4.2 8B8B · هوش 11.18 بیت8.5 GB42–75
Qwen3 Coder Next80B · 3B فعال · هوش 9.28 بیت85 GB113–200
Granite 4.2 3B3B · هوش 9.18 بیت3.2 GB113–200
gpt-oss-20b21B · 3.6B فعال · هوش 94.25 بیت اصلی13.8 GB189–337
Nemotron 3 Nano 30B A3B30B · 3.5B فعال · هوش 8.98 بیت31.9 GB97–173
Gemma 4 E4B8B · هوش 8.98 بیت8.5 GB75–133
Llama 4 Scout 17B-16E Instruct109B · 17B فعال · هوش 6.56 بیت88.6 GB26–46
Ministral 3 8B8.9B · هوش 5.58 بیت9.5 GB38–67
Nemotron 3 Nano 4B3.97B · هوش 4.88 بیت4.2 GB86–152
Ornith 1.5 122B122B · 10B فعال4 بیت68.6 GB64–114
Nemotron 3 Super 120B A12B120B · 12B فعال4 بیت67.5 GB53–94
GLM-4.5 Air106B · 12B فعال6 بیت86.1 GB37–65
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B فعال8 بیت32.4 GB103–183
GLM-4.7 Flash30B · 3B فعال8 بیت31.9 GB113–200
Qwen3.6 27B27B8 بیت28.7 GB13–22
Gemma 4 26B A4B25.2B · 3.8B فعال8 بیت26.8 GB90–160
Devstral Small 2 (24B)24B8 بیت25.5 GB14–25
Magistral Small 1.2 (2509)24B8 بیت25.5 GB14–25
Mistral Small 3.2 (24B)24B8 بیت25.5 GB14–25
LFM2.5 24B A2B24B · 2B فعال8 بیت25.5 GB171–305
Phi-4 Reasoning Vision 15B15B8 بیت15.9 GB23–40
Phi-4 (14B)14B8 بیت14.9 GB24–43
Gemma 4 12B Unified12B8 بیت12.7 GB28–50
Qwen3 8B8.2B8 بیت8.7 GB41–74
Llama 3.1 8B Instruct8B8 بیت8.5 GB42–75
Gemma 4 E2B5.1B8 بیت5.4 GB150–267
Qwen3.5 4B4B8 بیت4.3 GB84–149
Phi-4 mini instruct3.8B8 بیت4 GB90–160
Llama 3.2 3B Instruct3.21B8 بیت3.4 GB106–188
SmolLM3 3B3B8 بیت3.2 GB113–200
LFM2.5 2.6B2.69B8 بیت2.9 GB124–221
Qwen3.5 2B2B8 بیت2.1 GB171–305
Llama 3.2 1B Instruct1.23B8 بیت1.3 GB277–492
Qwen3.5 0.8B0.8B8 بیت0.9 GB400–711
Qwen3 0.6B0.6B8 بیت0.6 GB600–1067
Qwen3.8 Flash Next180B · 6B فعال · هوش 39.83 بیت کیفیت پایین‌تر78.8 GB138–246
Inkling Small276B · 12B فعال · هوش 25.72 بیت کیفیت پایین‌تر86.3 GB95–168
DeepSeek V4 Flash 0731284B · 13B فعال2 بیت کیفیت پایین‌تر88.8 GB88–156
MiniMax M2.7230B · 10B فعال2 بیت کیفیت پایین‌تر71.9 GB116–206

اجرا می‌شوند، اما کند 3

جا می‌شود، اما زیر 10 توکن در ثانیه: برای کارهای دسته‌ای خوب است، برای گفت‌وگو کند.

مدلنسخهحافظهتوکن/ثانیه
Mistral Medium 3.5 (128B)128B · هوش 14.24 بیت72 GB5–9
Devstral 2 (123B)123B4 بیت69.2 GB5–9
Llama 3.3 70B Instruct70B8 بیت74.4 GB5–9

به‌زحمت جا می‌شوند 3

تقریباً همهٔ حافظه را لازم دارد: سقف حافظهٔ GPU را بالا ببرید و کانتکست را کوتاه نگه دارید.

مدلنسخهحافظهتوکن/ثانیه
GLM-5.3 Flash320B · 18B فعال · هوش 41.82 بیت کیفیت پایین‌تر100 GB64–114
MiMo V2.6 Flash309B · 15B فعال · هوش 37.92 بیت کیفیت پایین‌تر96.6 GB77–136
Hy3295B · 21B فعال · هوش 25.32 بیت کیفیت پایین‌تر92.2 GB55–97

خیلی بزرگ 16

حتی در 2 بیت، بیش از 128 GB حافظه لازم دارد.

Macهای دیگر

همهٔ Macها با 128 GB، با هر تراشه‌ای.

M2 Ultra با حافظهٔ بیشتر یا کمتر:

تراشه‌های همسایه:

رودررو:

آن را با هر Mac یا GPU مقایسه کنید · تراشهٔ M2 Ultra برای هوش مصنوعی محلی · بهترین Mac برای LLM محلی · همهٔ Macها

پرسش‌ها

بهترین LLM برای یک M2 Ultra با 128 GB کدام است؟
از میان مدل‌هایی که Intelligence Index منتشرشده دارند، Qwen3.8 27B بالاترین امتیاز را در بین مدل‌هایی دارد که اینجا خوب اجرا می‌شوند: 8 بیت، حدود 13–22 توکن در ثانیه. بزرگ‌ترین مدلی که خوب اجرا می‌شود Qwen3.5 122B A10B است.
آیا یک M2 Ultra با 128 GB می‌تواند Llama 3.3 70B را اجرا کند؟
بله، اما کند: 8 بیت، با حدود 5–9 توکن در ثانیه.
gpt-oss-20b روی یک M2 Ultra چقدر سریع است؟
حدود 189–337 توکن در ثانیه (4.25 بیت اصلی)، بر پایهٔ پهنای باند حافظهٔ 800 GB/s این تراشه.

آن‌ها را با MLX Harness (رایگان و متن‌باز) یا mlx-lm از Apple در Terminal اجرا کنید: گام به گام.

چطور محاسبه شده

حافظه: پارامترهای مدل در 8، 6، 4، 3 یا 2 بیت برای هر وزن به‌علاوهٔ مقیاس‌های گروهی MLX (نیم بیت برای هر وزن)، یا قالب اصلی آن، به‌اضافهٔ جا برای کانتکست. macOS به‌طور پیش‌فرض اجازه می‌دهد GPU حدود 75% حافظهٔ یکپارچه را استفاده کند. سرعت: پهنای باند حافظه تقسیم بر بایت‌هایی که برای هر توکن خوانده می‌شود، سقف سرعت یک گفت‌وگوست؛ در بنچمارک‌های عمومی llama.cpp روی Apple Silicon اجراهای واقعی به حدود 45% تا 80% آن می‌رسند و همین بازه نمایش داده می‌شود. این‌ها برآوردند، نه اندازه‌گیری: Mac خودتان را روی MLX Bench بسنجید. ارقام مدل‌ها از کارت رسمی هر مدل و ارقام تراشه‌ها از مشخصات فنی Apple است. بررسی‌شده در 2026-10-19. همان داده‌های mlx.app/compare.

یک M2 Ultra با 128 GB چه LLMهایی را اجرا می‌کند؟ مدل‌ها و سرعت