بهترین Mac برای LLM محلی.

1چرا حافظه و پهنای باند همه چیز را تعیین می‌کنند

یک مدل زبانی هر بار یک توکن می‌نویسد و برای هر توکن، همهٔ وزن‌های فعال را از حافظه می‌خواند. پس سقف سرعت برای یک گفت‌وگو تقریباً پهنای باند حافظه تقسیم بر اندازهٔ وزن‌های فعال است. در بنچمارک‌های عمومی llama.cpp، تولید واقعی روی تراشه‌های Apple به 43% تا 80% این سقف می‌رسد (llama.cpp).

خواندن پرامپت فرق دارد: این بخش به توان محاسباتی محدود است، برای همین تراشه‌های نسل M5، با شتاب‌دهنده‌های عصبی در GPU، پرامپت‌ها را چند برابر سریع‌تر از نسل‌های قبل پردازش می‌کنند (Apple).

2همهٔ تراشه‌ها در یک نگاه

تراشه‌های قدیمی‌تر وقتی حافظهٔ کافی داشته باشند هنوز خوب کار می‌کنند. یک M1 Max یا M2 Max با 64 GB با سرعت 400 GB/s می‌خواند، بیشتر از هر تراشهٔ پایهٔ امروزی، و دست‌دوم اغلب بسیار ارزان‌تر است.

3کدام Mac را بخرید

فقط برای امتحان: MacBook Air یا Mac mini با 16 تا 32 GB

مدل‌های 7B تا 14B را به‌راحتی و مدل‌های ردهٔ 30B را با 32 GB اجرا می‌کند. برای چت، نوشتن و کمک سبک در برنامه‌نویسی کافی است.

بهترین ارزش: تراشهٔ Pro با 64 GB

یک Mac mini یا MacBook Pro با M4 Pro یا M5 Pro مدل‌های ردهٔ 70B را جا می‌دهد و مدل‌های میان‌اندازه را با سرعت خوبی اجرا می‌کند. نقطهٔ بهینه برای بیشتر توسعه‌دهندگان.

هوش مصنوعی محلی جدی: تراشهٔ Max با 128 GB

gpt-oss-120b (حدود 65 GB با 4 بیت) را روی لپ‌تاپ اجرا می‌کند؛ بر اساس رقم پهنای باند Apple، سقف نظری برای یک جریان روی M5 Max حدود 225 توکن در ثانیه است. بهترین گزینهٔ قابل‌حمل.

بزرگ‌ترین مدل‌ها: Mac Studio با Ultra

تا 512 GB با سرعت 1.2 TB/s در M5 Ultra، مدل‌هایی با صدها میلیارد پارامتر را روی یک میز جا می‌دهد. برای مدل‌های باز هم بزرگ‌تر، Macها را می‌توان با Thunderbolt 5 به یک کلاستر وصل کرد: کلاسترهای هوش مصنوعی Mac را ببینید.

4بگذارید Mac هزینهٔ خودش را دربیاورد

Macی که برای هوش مصنوعی خریده شده، بیشتر وقتش را در انتظار است. MLX Node اپی رایگان است که این ظرفیت اضافه را به MLX Network قرض می‌دهد، روی همان فریم‌ورک MLX کارهای هوش مصنوعی را اجرا می‌کند و برای کار تأییدشده توکن MLX به دست می‌آورد. یک جایگاه اختصاصی متناسب با تراشه درآمدش را چند برابر می‌کند: جایگاه Pro روی تراشهٔ Pro یا Max با نرخ کامل کار می‌کند و جایگاه Ultra روی تراشهٔ Ultra.

اول Mac خود را روی MLX Bench مقایسه کنید: توکن در ثانیهٔ اندازه‌گیری‌شده برای مدل‌های باز را روی همهٔ تراشه‌ها نشان می‌دهد.

5پرسش‌ها

آیا 16 GB برای یک LLM محلی کافی است؟

بله، برای مدل‌هایی تا حدود 14B پارامتر با 4 بیت. برای مدل‌های بزرگ‌تر یا کانتکست‌های طولانی، 32 GB یا بیشتر بسیار راحت‌تر است.

Mac Studio یا MacBook Pro برای LLM؟

هر دو با تراشه‌های Max و تا 128 GB عرضه می‌شوند. MacBook Pro قابل‌حمل است؛ Mac Studio زیر بارهای طولانی خنک‌تر می‌ماند و تنها Mac با تراشه‌های Ultra و تا 512 GB است.

آیا Mac برای هوش مصنوعی محلی از GPU انویدیا بهتر است؟

برای بزرگ‌ترین مدل‌ها در خانه، اغلب بله: حافظهٔ یکپارچهٔ Mac می‌تواند خیلی بیشتر از حافظهٔ یک کارت گرافیک مصرفی را در خود جا دهد. یک کارت Nvidia رده‌بالا روی مدل‌هایی که در حافظه‌اش جا می‌شوند سریع‌تر است.

آیا M5 مدل‌های زبانی را سریع‌تر می‌کند؟

بله، به‌ویژه در خواندن پرامپت: Apple اندازه گرفته که با MLX نخستین توکن روی M5 3.3 تا 4.1 برابر زودتر از M4 می‌رسد. سرعت تولید با پهنای باند حافظه رشد می‌کند که از M4 به M5 28% بالا رفت.