مک شما چه چیزهایی را اجرا می‌کند؟

چطور محاسبه شده

حافظه. هر مدل با بالاترین دقتی که جا می‌شود نمایش داده می‌شود: 8، 6، 4، 3 یا 2 بیت برای هر وزن، به‌علاوهٔ مقیاس‌های گروهی MLX (نیم بیت برای هر وزن)، یا قالب اصلی آن اگر به همان شکل منتشر شده باشد. در مک، GPU به‌طور پیش‌فرض می‌تواند حدود 75% حافظهٔ یکپارچه را استفاده کند؛ ما روی آن جایی هم برای کانتکست در نظر می‌گیریم.

سرعت. هنگام نوشتن، هر توکن همهٔ وزن‌های فعال را یک بار می‌خواند؛ بنابراین پهنای باند حافظه تقسیم بر این بایت‌ها سقف یک گفت‌وگوست. در بنچمارک‌های عمومی llama.cpp روی Apple Silicon اجراهای واقعی به حدود 45% تا 80% این سقف می‌رسند و همین بازه نمایش داده شده است. خواندن یک پرامپت طولانی به توان محاسباتی بستگی دارد و اینجا نشان داده نمی‌شود.

منابع. تعداد پارامترها، کانتکست و مجوزها از کارت رسمی هر مدل در Hugging Face (پیوند از نام مدل) و حافظه و پهنای باند از مشخصات Apple و سازندگان گرفته شده‌اند. بررسی‌شده در 2026-10-19. مک خود را با MLX Bench بسنجید. همهٔ مک‌ها، همهٔ مدل‌ها و جدول کامل سازگاری را می‌توانید رایگان به‌صورت JSON و CSV دانلود کنید: داده‌های باز.

مرور. همهٔ مک‌ها، از M1 با 8 GB تا M5 Ultra با 512 GB، با همهٔ مدل‌هایی که اجرا می‌کنند، و همهٔ مدل‌ها با کوچک‌ترین مکی که نیاز دارند.

اجرا کنید. گام‌به‌گام: دانلود و اجرای LLM روی مک، مقایسهٔ MLX، Ollama و llama.cpp و بهترین مک برای LLM محلی. وقتی مک شما بیکار است، می‌تواند توکن MLX به دست آورد.

از کجا بفهمم یک LLM روی مک من اجرا می‌شود؟

اندازهٔ مدل در دقتی که می‌خواهید را با حافظهٔ یکپارچهٔ مک خود مقایسه کنید. macOS به‌طور پیش‌فرض اجازه می‌دهد GPU حدود 75% آن را استفاده کند و مدل به جایی برای کانتکست هم نیاز دارد. یک مدل 4 بیتی برای هر میلیارد پارامتر کمی بیش از نیم گیگابایت لازم دارد.

در هر ثانیه چند توکن می‌گیرم؟

سرعت نوشتن را پهنای باند حافظه محدود می‌کند: هر توکن وزن‌های فعال مدل را یک بار می‌خواند. پهنای باند تقسیم بر بایت‌های خوانده‌شده در هر توکن سقف یک گفت‌وگوست؛ اجراهای واقعی معمولاً به حدود 45% تا 80% آن می‌رسند.

چرا مدل‌های ترکیب متخصصان (MoE) سریع‌ترند؟

این مدل‌ها متخصصان زیادی را در حافظه نگه می‌دارند اما برای هر توکن فقط چند تا را به کار می‌گیرند، پس هر توکن بایت‌های بسیار کمتری می‌خواند. حافظه به اندازهٔ کل مدل لازم است، اما سرعت به اندازهٔ مدلی بسیار کوچک‌تر است.

آیا 4 بیت کافی است؟

در بیشتر مدل‌ها، 4 بیت کیفیت را نزدیک به نسخهٔ اصلی نگه می‌دارد. زیر 4 بیت کیفیت سریع‌تر افت می‌کند و به همین دلیل نسخه‌های زیر 4 بیت علامت خورده‌اند.