ورودساخت کیف پول

یک M3 Max با 96 GB چه چیزهایی را اجرا می‌کند؟

38 از 73 مدل باز روی آن خوب اجرا می‌شوند. GPU به‌طور پیش‌فرض می‌تواند حدود 72 GB از 96 GB آن را استفاده کند و حافظه را با 300 GB/s می‌خواند، که سرعت نوشتن را تعیین می‌کند. در: MacBook Pro (14-inch, M3 Pro or M3 Max, Nov 2023), MacBook Pro (16-inch, Nov 2023).

باهوش‌ترین که خوب اجرا می‌شودNemotron 3.5 Bolt 74B A9B6 بیت · 60.1 GB · 18–33 tok/sبزرگ‌ترین که خوب اجرا می‌شودgpt-oss-120b4.25 بیت اصلی · 65.3 GB · 50–89 tok/sبرای کدنویسیQwen3 Coder Next6 بیت · 65 GB · 56–100 tok/s

خوب اجرا می‌شوند 43

با جای کافی برای کانتکست جا می‌شود، با 10 توکن یا بیشتر در ثانیه.

مدلنسخهحافظهتوکن/ثانیه
Nemotron 3.5 Bolt 74B A9B74B · 9B فعال · هوش 21.46 بیت60.1 GB18–33
Qwen3.6 35B A3B35B · 3B فعال · هوش 18.28 بیت37.2 GB42–75
Nemotron 3.5 Lightning 30B A3B30B · 3B فعال · هوش 12.98 بیت31.9 GB42–75
MiniCPM5 2B2.52B · هوش 12.58 بیت2.7 GB50–89
gpt-oss-120b117B · 5.1B فعال · هوش 11.64.25 بیت اصلی65.3 GB50–89
Qwen3.5 9B9B · هوش 11.28 بیت9.6 GB14–25
Granite 4.2 8B8B · هوش 11.18 بیت8.5 GB16–28
Qwen3 Coder Next80B · 3B فعال · هوش 9.26 بیت65 GB56–100
Granite 4.2 3B3B · هوش 9.18 بیت3.2 GB42–75
gpt-oss-20b21B · 3.6B فعال · هوش 94.25 بیت اصلی13.8 GB71–126
Nemotron 3 Nano 30B A3B30B · 3.5B فعال · هوش 8.98 بیت31.9 GB36–65
Gemma 4 E4B8B · هوش 8.98 بیت8.5 GB28–50
Llama 4 Scout 17B-16E Instruct109B · 17B فعال · هوش 6.54 بیت61.3 GB14–25
Ministral 3 8B8.9B · هوش 5.58 بیت9.5 GB14–25
Nemotron 3 Nano 4B3.97B · هوش 4.88 بیت4.2 GB32–57
GLM-4.5 Air106B · 12B فعال4 بیت59.6 GB20–35
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B فعال8 بیت32.4 GB39–69
GLM-4.7 Flash30B · 3B فعال8 بیت31.9 GB42–75
Gemma 4 26B A4B25.2B · 3.8B فعال8 بیت26.8 GB34–60
Devstral Small 2 (24B)24B4 بیت13.5 GB10–18
Magistral Small 1.2 (2509)24B4 بیت13.5 GB10–18
Mistral Small 3.2 (24B)24B4 بیت13.5 GB10–18
LFM2.5 24B A2B24B · 2B فعال8 بیت25.5 GB64–114
Phi-4 Reasoning Vision 15B15B6 بیت12.2 GB11–20
Phi-4 (14B)14B6 بیت11.4 GB12–21
Gemma 4 12B Unified12B8 بیت12.7 GB11–19
Qwen3 8B8.2B8 بیت8.7 GB16–28
Llama 3.1 8B Instruct8B8 بیت8.5 GB16–28
Gemma 4 E2B5.1B8 بیت5.4 GB56–100
Qwen3.5 4B4B8 بیت4.3 GB31–56
Phi-4 mini instruct3.8B8 بیت4 GB34–60
Llama 3.2 3B Instruct3.21B8 بیت3.4 GB40–71
SmolLM3 3B3B8 بیت3.2 GB42–75
LFM2.5 2.6B2.69B8 بیت2.9 GB47–83
Qwen3.5 2B2B8 بیت2.1 GB64–114
Llama 3.2 1B Instruct1.23B8 بیت1.3 GB104–185
Qwen3.5 0.8B0.8B8 بیت0.9 GB150–267
Qwen3 0.6B0.6B8 بیت0.6 GB225–400
Qwen3.8 Flash Next180B · 6B فعال · هوش 39.82 بیت کیفیت پایین‌تر56.3 GB71–126
Qwen3.5 122B A10B122B · 10B فعال · هوش 15.63 بیت کیفیت پایین‌تر53.4 GB31–55
Mistral Small 4 (119B)119B · 6.5B فعال · هوش 11.33 بیت کیفیت پایین‌تر52.1 GB48–86
Ornith 1.5 122B122B · 10B فعال3 بیت کیفیت پایین‌تر53.4 GB31–55
Nemotron 3 Super 120B A12B120B · 12B فعال3 بیت کیفیت پایین‌تر52.5 GB25–45

اجرا می‌شوند، اما کند 8

جا می‌شود، اما زیر 10 توکن در ثانیه: برای کارهای دسته‌ای خوب است، برای گفت‌وگو کند.

مدلنسخهحافظهتوکن/ثانیه
Qwen3.8 27B27B · هوش 33.78 بیت28.7 GB5–8
Muse Glimmer 30B29.6B · هوش 17.58 بیت31.5 GB4–8
Gemma 4 31B30.7B · هوش 14.78 بیت32.6 GB4–7
Granite 4.2 30B30B · هوش 12.78 بیت31.9 GB4–8
Llama 3.3 70B Instruct70B6 بیت56.9 GB2–4
Qwen3.6 27B27B8 بیت28.7 GB5–8
Mistral Medium 3.5 (128B)128B · هوش 14.23 بیت کیفیت پایین‌تر56 GB2–4
Devstral 2 (123B)123B3 بیت کیفیت پایین‌تر53.8 GB3–4

به‌زحمت جا می‌شوند 1

تقریباً همهٔ حافظه را لازم دارد: سقف حافظهٔ GPU را بالا ببرید و کانتکست را کوتاه نگه دارید.

مدلنسخهحافظهتوکن/ثانیه
MiniMax M2.7230B · 10B فعال2 بیت کیفیت پایین‌تر71.9 GB44–77

خیلی بزرگ 21

حتی در 2 بیت، بیش از 96 GB حافظه لازم دارد.

Macهای دیگر

همهٔ Macها با 96 GB، با هر تراشه‌ای.

M3 Max با حافظهٔ بیشتر یا کمتر:

تراشه‌های همسایه:

رودررو:

آن را با هر Mac یا GPU مقایسه کنید · تراشهٔ M3 Max برای هوش مصنوعی محلی · بهترین Mac برای LLM محلی · همهٔ Macها

پرسش‌ها

بهترین LLM برای یک M3 Max با 96 GB کدام است؟
از میان مدل‌هایی که Intelligence Index منتشرشده دارند، Nemotron 3.5 Bolt 74B A9B بالاترین امتیاز را در بین مدل‌هایی دارد که اینجا خوب اجرا می‌شوند: 6 بیت، حدود 18–33 توکن در ثانیه. بزرگ‌ترین مدلی که خوب اجرا می‌شود gpt-oss-120b است.
آیا یک M3 Max با 96 GB می‌تواند Llama 3.3 70B را اجرا کند؟
بله، اما کند: 6 بیت، با حدود 2–4 توکن در ثانیه.
gpt-oss-20b روی یک M3 Max چقدر سریع است؟
حدود 71–126 توکن در ثانیه (4.25 بیت اصلی)، بر پایهٔ پهنای باند حافظهٔ 300 GB/s این تراشه.

آن‌ها را با MLX Harness (رایگان و متن‌باز) یا mlx-lm از Apple در Terminal اجرا کنید: گام به گام.

چطور محاسبه شده

حافظه: پارامترهای مدل در 8، 6، 4، 3 یا 2 بیت برای هر وزن به‌علاوهٔ مقیاس‌های گروهی MLX (نیم بیت برای هر وزن)، یا قالب اصلی آن، به‌اضافهٔ جا برای کانتکست. macOS به‌طور پیش‌فرض اجازه می‌دهد GPU حدود 75% حافظهٔ یکپارچه را استفاده کند. سرعت: پهنای باند حافظه تقسیم بر بایت‌هایی که برای هر توکن خوانده می‌شود، سقف سرعت یک گفت‌وگوست؛ در بنچمارک‌های عمومی llama.cpp روی Apple Silicon اجراهای واقعی به حدود 45% تا 80% آن می‌رسند و همین بازه نمایش داده می‌شود. این‌ها برآوردند، نه اندازه‌گیری: Mac خودتان را روی MLX Bench بسنجید. ارقام مدل‌ها از کارت رسمی هر مدل و ارقام تراشه‌ها از مشخصات فنی Apple است. بررسی‌شده در 2026-10-19. همان داده‌های mlx.app/compare.

یک M3 Max با 96 GB چه LLMهایی را اجرا می‌کند؟ مدل‌ها و سرعت