مختصر یہ کہ
- MLX، Apple Silicon کے لیے Apple کا مشین لرننگ فریم ورک ہے۔ mlx-lm اس پر لینگویج ماڈلز چلاتا ہے۔
- llama.cpp ایک تیز C/C++ انفرنس انجن ہے جو تقریباً ہر ہارڈویئر پر GGUF ماڈلز چلاتا ہے، Metal کے ذریعے Mac پر بھی۔
- Ollama آسان فرنٹ اینڈ ہے: ماڈل ڈاؤن لوڈ کر کے چلانے کے لیے ایک کمانڈ، اور ساتھ میں لوکل API۔ Apple Silicon پر اب اس میں MLX پر چلنے والا پری ویو بھی ہے۔
- Mac پر سب سے تیز نتائج کے لیے MLX استعمال کریں؛ ماڈلز اور پلیٹ فارمز کے سب سے وسیع انتخاب کے لیے llama.cpp؛ سب سے آسان شروعات کے لیے Ollama یا LM Studio۔
1ہر ایک کیا ہے
| MLX (mlx-lm) | llama.cpp | Ollama | |
|---|---|---|---|
| کس نے بنایا | Apple، اوپن سورس (MIT) | اوپن سورس کمیونٹی | Ollama، اوپن سورس |
| کہاں چلتا ہے | Apple Silicon | Mac، Windows، Linux، بہت سے GPUs | Mac، Windows، Linux |
| ماڈل فارمیٹ | MLX (safetensors) | GGUF | اپنی لائبریری؛ GGUF اور، پری ویو میں، Mac پر MLX |
| کس کے لیے بہترین | Mac پر رفتار اور ریسرچ | پورٹیبلٹی، کوانٹائزیشن کا انتخاب | آسان استعمال، وہ ایپس جنہیں API چاہیے |
| ٹریننگ اور فائن ٹیوننگ | ہاں (LoRA اور مکمل) | محدود | نہیں |
2Apple Silicon پر رفتار
متن جنریٹ کرتے وقت تینوں کی حد ایک ہی چیز ہے: میموری بینڈوڈتھ۔ فرق اس سے آتا ہے کہ ہر ایک GPU کو کتنی اچھی طرح استعمال کرتا ہے اور اس کے ماڈلز کیسے کوانٹائز کیے گئے ہیں۔
MLX، Apple Silicon کی یونیفائیڈ میموری کے لیے لکھا گیا ہے اور M5 چپس پر GPU کے نیورل ایکسلریٹرز استعمال کرتا ہے: Apple کی پیمائش میں پہلے ٹوکن کا وقت M4 کے مقابلے میں 3.3 سے 4.1 گنا تیز تھا (Apple)۔ مارچ 2026 میں Ollama نے Apple Silicon پر MLX کی طرف منتقلی شروع کی، ایک پری ویو میں جس میں سپورٹڈ ماڈلز کی رفتار بہت بڑھ گئی (Ollama)، اور یہ بہت کچھ بتاتا ہے کہ Mac پر کارکردگی کہاں ہے۔
llama.cpp اب بھی Mac پر بہت تیز ہے اور اچھی طرح ناپا گیا ہے؛ اس کا پبلک بینچ مارک تھریڈ چپس کے موازنے کا بہترین حوالہ ہے (llama.cpp)۔ خاص طور پر MLX کے نمبروں کے لیے MLX Bench دیکھیں۔
3کون سا استعمال کریں
- آپ آج ہی کسی ماڈل سے چیٹ کرنا چاہتے ہیں: LM Studio (ایک ایپ جو MLX اور GGUF دونوں ماڈلز چلاتی ہے) یا Ollama۔
- آپ ایسی ایپ بنا رہے ہیں جسے لوکل API چاہیے: Ollama، یا MLX پر OpenAI-compatible اینڈ پوائنٹ کے لیے
mlx_lm.server۔ - آپ Mac سے سب سے زیادہ رفتار چاہتے ہیں، یا فائن ٹیون کرنا چاہتے ہیں: MLX، mlx-lm کے ساتھ۔
- آپ کو Mac، Linux اور Windows پر ایک جیسا سیٹ اپ، یا کوئی خاص GGUF کوانٹائزیشن چاہیے: llama.cpp۔
اپنے Mac پر LLM چلانے کی ہماری قدم بہ قدم گائیڈ ان سب کا احاطہ کرتی ہے۔
4ایک Mac سے آگے MLX
MLX کئی Mac پر بھی چلتا ہے، Thunderbolt 5 پر RDMA کے ساتھ (Mac AI کلسٹرز)۔ اور یہی MLX Network کا انجن ہے: MLX Node نیٹ ورک کے لیے MLX فریم ورک پر AI کے کام چلاتا ہے اور تصدیق شدہ کام کے لیے MLX ٹوکن کماتا ہے۔ MLX Network ایک آزاد پروجیکٹ ہے، Apple کا بنایا ہوا نہیں؛ فرق یہاں دیکھیں۔
5سوالات
- کیا MLX، llama.cpp سے تیز ہے؟
- Apple Silicon پر MLX جنریشن میں اکثر اتنا ہی یا زیادہ تیز ہوتا ہے، اور خاص طور پر M5 چپس پر پرامپٹ پروسیسنگ میں۔ نتائج ماڈل اور کوانٹائزیشن کے ساتھ بدلتے ہیں، اس لیے اپنے Mac پر موازنہ کریں۔
- کیا Ollama، MLX استعمال کر سکتا ہے؟
- ہاں، Ollama 0.19 سے Apple Silicon پر پری ویو میں، سپورٹڈ ماڈلز کے لیے، 32 GB سے زیادہ میموری والے Mac پر۔
- کیا MLX اور GGUF ماڈلز میں فرق ہے؟
- یہ ایک ہی قسم کے ماڈلز کے مختلف فائل فارمیٹس ہیں۔ بہت سے مقبول ماڈلز دونوں میں شائع ہوتے ہیں؛ Hugging Face پر mlx-community آرگنائزیشن کے پاس ہزاروں MLX کنورژنز ہیں۔