آیا Mac Studio با M2 Ultra برای LLMهای محلی خوب است؟

با 192 GB، 49 از 73 مدل باز را خوب اجرا میکند، تا MiniMax M2.7، و با gpt-oss-20b حدود 189–337 توکن در ثانیه مینویسد. M2 Ultra حافظه را با 800 GB/s میخواند، که سرعت نوشتن را تعیین میکند.

یک Mac Studio با M2 Ultra برای هوش مصنوعی چقدر حافظه باید داشته باشد؟

با 64 GB، 39 مدل باز خوب اجرا میشوند؛ با 192 GB، 49 مدل، تا MiniMax M2.7. حافظه تعیین میکند کدام مدلها جا میشوند و بعداً قابل ارتقا نیست.

Mac Studio با M2 Ultra برای هوش مصنوعی محلی: LLMها بر اساس حافظه

بر اساس اندازهٔ حافظه

حافظه	خوب اجرا می‌شوند	بزرگ‌ترین که خوب اجرا می‌شود	gpt-oss-20b
64 GB800 GB/s	39	Nemotron 3.5 Bolt 74B A9B	189–337 tok/s
128 GB800 GB/s	47	Qwen3.5 122B A10B	189–337 tok/s
192 GB800 GB/s	49	MiniMax M2.7	189–337 tok/s

مدل‌ها: Mac Studio (2023). هر اندازهٔ حافظه برای هر مدلی عرضه نمی‌شود؛ مشخصات فنی Apple فهرست می‌کند که هر کدام با چه حافظه‌ای عرضه می‌شود.

پرسش‌ها

آیا Mac Studio با M2 Ultra برای LLMهای محلی خوب است؟: با 192 GB، 49 از 73 مدل باز را خوب اجرا می‌کند، تا MiniMax M2.7، و با gpt-oss-20b حدود 189–337 توکن در ثانیه می‌نویسد. M2 Ultra حافظه را با 800 GB/s می‌خواند، که سرعت نوشتن را تعیین می‌کند.
یک Mac Studio با M2 Ultra برای هوش مصنوعی چقدر حافظه باید داشته باشد؟: با 64 GB، 39 مدل باز خوب اجرا می‌شوند؛ با 192 GB، 49 مدل، تا MiniMax M2.7. حافظه تعیین می‌کند کدام مدل‌ها جا می‌شوند و بعداً قابل ارتقا نیست.

Macهای دیگر

Mac Studio با تراشه‌های دیگر:

Macهای دیگر با M2 Ultra:

Mac Pro M2 Ultra

رودررو:

تراشهٔ M2 Ultra برای هوش مصنوعی محلی · بهترین Mac برای LLM محلی · همهٔ Macها

چطور محاسبه شده

حافظه: پارامترهای مدل در 8، 6، 4، 3 یا 2 بیت برای هر وزن به‌علاوهٔ مقیاس‌های گروهی MLX (نیم بیت برای هر وزن)، یا قالب اصلی آن، به‌اضافهٔ جا برای کانتکست. macOS به‌طور پیش‌فرض اجازه می‌دهد GPU حدود 75% حافظهٔ یکپارچه را استفاده کند. سرعت: پهنای باند حافظه تقسیم بر بایت‌هایی که برای هر توکن خوانده می‌شود، سقف سرعت یک گفت‌وگوست؛ در بنچمارک‌های عمومی llama.cpp روی Apple Silicon اجراهای واقعی به حدود 45% تا 80% آن می‌رسند و همین بازه نمایش داده می‌شود. این‌ها برآوردند، نه اندازه‌گیری: Mac خودتان را روی MLX Bench بسنجید. ارقام مدل‌ها از کارت رسمی هر مدل و ارقام تراشه‌ها از مشخصات فنی Apple است. بررسی‌شده در 2026-10-19. همان داده‌های mlx.app/compare.