به‌طور خلاصه
- MLX فریم‌ورک یادگیری ماشین Apple برای Apple Silicon است. mlx-lm مدلهای زبانی را روی آن اجرا میکند.
- llama.cpp یک موتور استنتاج سریع به زبان C/C++ است که مدلهای GGUF را تقریباً روی هر سخت‌افزاری اجرا میکند، از جمله Mac از طریق Metal.
- Ollama رابط آسان است: یک فرمان برای دانلود و اجرای مدل، با یک API محلی. روی Apple Silicon اکنون یک پیشنمایش مبتنی بر MLX دارد.
- برای سریع‌ترین نتیجهٔ بومی روی Mac از MLX استفاده کنید؛ برای بیشترین انتخاب مدل و پلتفرم، llama.cpp؛ برای آسان‌ترین شروع، Ollama یا LM Studio.
1هر کدام چیست
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| سازنده | Apple، متن‌باز (MIT) | جامعهٔ متن‌باز | Ollama، متن‌باز |
| اجرا روی | Apple Silicon | Mac، Windows، Linux، بسیاری از GPUها | Mac، Windows، Linux |
| فرمت مدل | MLX (safetensors) | GGUF | کتابخانهٔ خودش؛ GGUF و، در پیشنمایش، MLX روی Mac |
| بهترین برای | سرعت و پژوهش روی Mac | قابلیت حمل، انتخاب کوانتیزاسیون | سهولت استفاده، اپ‌هایی که API لازم دارند |
| آموزش و فاین‌تیون | بله (LoRA و کامل) | محدود | خیر |
2سرعت روی Apple Silicon
هر سه هنگام تولید متن به یک چیز محدودند: پهنای باند حافظه. تفاوت‌ها از این می‌آید که هر کدام چقدر خوب از GPU استفاده میکند و مدل‌هایش چطور کوانتیزه شده‌اند.
MLX برای حافظهٔ یکپارچهٔ Apple Silicon نوشته شده و روی تراشههای M5 از شتاب‌دهنده‌های عصبی GPU استفاده میکند: Apple زمان رسیدن به نخستین توکن را 3.3 تا 4.1 برابر سریعتر از M4 اندازه گرفته است (Apple). در مارس 2026، Ollama در یک پیشنمایش با افزایش سرعت زیاد برای مدلهای پشتیبانیشده، روی Apple Silicon به سمت MLX رفت (Ollama)، که خودش نشان می‌دهد عملکرد Mac امروز کجاست.
llama.cpp همچنان روی Mac بسیار سریع و به‌خوبی سنجیده‌شده است؛ رشتهٔ بنچمارک عمومی آن بهترین مرجع برای مقایسهٔ تراشه‌هاست (llama.cpp). برای اعداد مخصوص MLX، MLX Bench را ببینید.
3از کدام استفاده کنید
- می‌خواهید همین امروز با یک مدل چت کنید: LM Studio (اپی که هم مدلهای MLX و هم GGUF را اجرا میکند) یا Ollama.
- اپی می‌سازید که API محلی لازم دارد: Ollama، یا
mlx_lm.serverبرای یک endpoint سازگار با OpenAI روی MLX. - بیشترین سرعت را از Mac می‌خواهید، یا فاین‌تیون: MLX با mlx-lm.
- همان چیدمان را روی Mac، Linux و Windows لازم دارید، یا یک کوانتیزاسیون GGUF خاص: llama.cpp.
راهنمای گام‌به‌گام ما دربارهٔ اجرای LLM روی Mac همهٔ آن‌ها را پوشش می‌دهد.
4MLX فراتر از یک Mac
MLX روی چند Mac هم اجرا می‌شود، روی Thunderbolt 5 با RDMA (کلاسترهای هوش مصنوعی Mac). و موتور MLX Network است: MLX Node کارهای هوش مصنوعی شبکه را روی فریم‌ورک MLX اجرا میکند و برای کار تأییدشده توکن MLX به دست می‌آورد. MLX Network پروژه‌ای مستقل است و ساختهٔ Apple نیست؛ تفاوت را اینجا ببینید.
5پرسش‌ها
- آیا MLX از llama.cpp سریعتر است؟
- روی Apple Silicon، MLX در تولید اغلب به همان سرعت یا سریعتر است، بهویژه در پردازش پرامپت روی تراشههای M5. نتایج بسته به مدل و کوانتیزاسیون فرق میکند، پس روی Mac خودتان مقایسه کنید.
- آیا Ollama میتواند از MLX استفاده کند؟
- بله، در پیشنمایش از Ollama 0.19 روی Apple Silicon، برای مدلهای پشتیبانیشده، روی Macهای با بیش از 32 GB حافظه.
- آیا مدلهای MLX و GGUF با هم فرق دارند؟
- اینها دو فرمت فایل متفاوت برای همان نوع مدلها هستند. بسیاری از مدلهای محبوب در هر دو منتشر میشوند؛ سازمان mlx-community در Hugging Face هزاران تبدیل MLX دارد.