اجرای LLM روی Mac.

1چه چیزی روی Mac شما جا می‌شود

وزن‌های یک مدل باید در حافظه جا شوند و جای اضافه برای کانتکست و macOS هم بماند. با 4 بیت برای هر وزن، برای هر میلیارد پارامتر حدود 0.55 تا 0.6 GB در نظر بگیرید.

سرعت مسئلهٔ جداگانه‌ای است: هر توکن جدید نیاز دارد وزن‌های فعال یک بار از حافظه خوانده شوند، پس توکن در ثانیه با پهنای باند حافظه بالا می‌رود. راهنمای ما دربارهٔ بهترین Mac برای LLM محلی همهٔ تراشه‌ها را پوشش می‌دهد.

2راه آسان: LM Studio

LM Studio یک اپ رایگان Mac با پنجرهٔ چت و مرورگر مدل است. روی Apple Silicon می‌تواند مدل‌ها را هم در فرمت MLX اپل و هم در فرمت GGUF که llama.cpp به کار می‌برد اجرا کند.

1. LM Studio را دانلود و باز کنید.
2. یک مدل جست‌وجو کنید، روی Apple Silicon نسخهٔ MLX را ترجیح دهید و اندازه‌ای انتخاب کنید که در حافظهٔ شما جا شود.
3. آن را بارگذاری کنید و چت را شروع کنید. می‌توانید سرور محلی‌اش را هم برای اپ‌های دیگر روشن کنید.

3یک فرمان: Ollama

Ollama مدل‌ها را از ترمینال اجرا می‌کند و در اختیار اپ‌های دیگر روی Mac قرار می‌دهد. پس از نصب، یک فرمان مدلی را دانلود و اجرا می‌کند:

ollama run llama3.2

از نسخهٔ 0.19، Ollama روی Apple Silicon یک پیش‌نمایش مبتنی بر فریم‌ورک MLX اپل برای مدل‌های پشتیبانی‌شده دارد که سرعت را بسیار بالا می‌برد؛ این پیش‌نمایش به Mac با بیش از 32 GB حافظه نیاز دارد (Ollama).

4سریع‌ترین راه: MLX اپل و mlx-lm

MLX فریم‌ورک متن‌باز یادگیری ماشین Apple برای Apple Silicon است و mlx-lm بستهٔ آن برای مدل‌های زبانی است. هزاران مدل آماده از سازمان mlx-community در Hugging Face در دسترس‌اند.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

برای گفت‌وگو در ترمینال از mlx_lm.chat و برای یک API محلی که اپ‌های دیگر فراخوانی کنند از mlx_lm.server استفاده کنید. روی تراشه‌های M5، MLX از شتاب‌دهنده‌های عصبی جدید در GPU استفاده می‌کند: Apple اندازه گرفته که نخستین توکن 3.3 تا 4.1 برابر زودتر از M4 می‌رسد (Apple Machine Learning Research).

5بسنجید، سپس به کارش بگیرید

MLX Bench یک جدول رده‌بندی باز از سرعت MLX روی همهٔ تراشه‌های Apple Silicon است: توکن در ثانیه برای تولید و پرامپت، و اوج مصرف حافظه. اسکریپت تک‌فایلی را روی Mac خود اجرا کنید و ببینید کجا قرار می‌گیرد.

وقتی از Mac استفاده نمی‌کنید، می‌تواند برای دیگران هوش مصنوعی اجرا کند. MLX Node اپی رایگان است که روی همان فریم‌ورک MLX کارهای هوش مصنوعی MLX Network را اجرا می‌کند و برای کار تأییدشده توکن MLX به دست می‌آورد، در چارچوب محدودیت‌هایی که تعیین می‌کنید.

6پرسش‌ها

آیا MacBook Air می‌تواند LLM اجرا کند؟

بله. یک MacBook Air با 16 GB مدل‌های 7B تا 14B را با 4 بیت به‌راحتی اجرا می‌کند؛ با 32 GB، مدل‌ها تا حدود 30B. از Mac دارای تراشهٔ Pro یا Max کندتر خواهد بود، چون آن‌ها پهنای باند حافظهٔ بیشتری دارند.

آیا MLX روی Mac از Ollama سریع‌تر است؟

اغلب بله، چون MLX برای Apple Silicon نوشته شده است. پیش‌نمایش مبتنی بر MLX خود Ollama هم روی Apple Silicon افزایش سرعت زیادی گزارش می‌کند. راهنمای MLX در برابر Ollama ما آن‌ها را با جزئیات مقایسه می‌کند.

آیا مدل‌های محلی آفلاین کار می‌کنند؟

بله. پس از دانلود، مدل کاملاً روی Mac شما اجرا می‌شود و پرامپت‌هایتان هرگز از آن خارج نمی‌شوند.

برای یک مدل 70B چقدر حافظه لازم دارم؟

حدود 40 GB برای وزن‌ها با 4 بیت، پس یک Mac با 64 GB یا بیشتر. مدل‌های ترکیب متخصصان با کیفیت مشابه ممکن است حافظهٔ بیشتری بخواهند اما سریع‌تر اجرا می‌شوند.